Transformers
これは、なにをしたくて書いたもの？ 先日、GoogleからAIモデル「Gemma」が公開されました。 Gemma: Google introduces new state-of-the-art open models グーグル、軽量でオープンな新AIモデル「Gemma」 - Impress Watch 今回は、こちらをHugging FaceのTr…
これは、なにをしたくて書いたもの？ Qdrantのチュートリアルを進めてみようシリーズです。 今回は「シンプルなNeural Searchサービスを作成する（Create a Simple Neural Search Service）」を試します。 Neural Search Service - Qdrant Neural Search？ …
これは、なにをしたくて書いたもの？ 先日、Qdrantをインストールしてみました。 Ubuntu Linux 22.04 LTSにベクトルデータベースQdrantをインストールして試す - CLOVER ここからどう進めたものか、というところなのですが、Quickstartの最後にチュートリア…
これは、なにをしたくて書いたもの？ llama.cppやLocalAIを使って、コード生成を試せないのかな？と思ったドキュメントを見ると、llama-cpp-pythonのドキュメントに コード生成（コード補完）について書かれているのを見つけまして。 OpenAI Compatible Serv…
これは、なにをしたくて書いたもの？ 以前のエントリーで、SentenceTransformersとintfloat/multilingual-e5のモデルを使ってテキスト埋め込みを試してみました。 SentenceTransformersとintfloat/multilingual-e5でテキスト埋め込みを試してみる - CLOVER i…
これは、なにをしたくて書いたもの？ テキストの埋め込み（ベクトル化）の方法をいろいろ見ているのですが、SentenceTransformersというものを押さえておいた方が よさそうに思ったので試してみることにしました。 SentenceTransformers SentenceTransformer…
これは、なにをしたくて書いたもの？ Transformersかつ日本語で、なにか動かしてみたいなと思って題材を探していたのですが、MLM（Masked Language Modeling）が ちょうど良さそうだったので試してみました。 MLM（Masked Language Modeling） MLM（Masked L…
これは、なにをしたくて書いたもの？ Transformersでテキスト生成ができそうだったので、こちらをTransformersの足がかりとして試してみたいと思います。 Transformersでのテキスト生成 テキスト生成には、Transformersでできることに挙げられています。 Tr…
これは、なにをしたくて書いたもの？ Hugging Faceの開発しているライブラリーであるTransformersを使うと、これだけでも質疑応答やテキスト分類といったタスクが 実行できるようなので、ちょっと調べてみました。 最初はなにかタスクを試してみようかなと思…
