LLM
これは、なにをしたくて書いたもの？ これまでよくOpenAI API互換のサーバーにOpenAI Python APIライブラリーからアクセスして試していたのですが、1度Javaからも アクセスしてみようかなと思いまして。 アクセス先としては、llama-cpp-pythonを使うことにし…
これは、なにをしたくて書いたもの？ 今までQdrantのチュートリアルを試してきたのですが、今度はExampleを見てみようと思います。 Examples - Qdrant ただ、Exampleで見るのは「基本的なRAG（Basic RAG）」のみにしたいと思います。それから、Qdrant自体を…
これは、なにをしたくて書いたもの？ MetaからLlama 3がリリースされました。 Meta、無料で商用可の新LLM「Llama 3」、ほぼすべてのクラウドでアクセス可能に - ITmedia NEWS このLlama 3をOpenAI API互換のサーバーを持つllama-cpp-pythonおよびLocalAIで動…
これは、なにをしたくて書いたもの？ 前に、GoogleのLLMであるGemmaをTransformersで動かしてみました。 GoogleのLLM「Gemma」をTransformersで試す - CLOVER なのですが、これが自分の環境だとものすごく重かったので、ちょっと方向を変えてOpenAI API互換…
これは、なにをしたくて書いたもの？ 先日、GoogleからAIモデル「Gemma」が公開されました。 Gemma: Google introduces new state-of-the-art open models グーグル、軽量でオープンな新AIモデル「Gemma」 - Impress Watch 今回は、こちらをHugging FaceのTr…
これは、なにをしたくて書いたもの？ 以前のエントリーで、SalesforceのCodeGenのモデルを使ってソースコードの生成を行ってみました。 Transformersでコード生成を行ってみる - CLOVER この時は、llama-cpp-pythonのドキュメントで紹介されていたReplit Cod…
LLMに関することをいろいろ試そうとすると、使うモデルが必要になります。 このモデルの探し方がどうしたらいいのかわからないのですが、Awesomeなどを見つけたのでメモしておこうかなと。 Awesome LLM Awesome LLM。 GitHub - Hannibal046/Awesome-LLM: Awe…
これは、なにをしたくて書いたもの？ llama.cppやLocalAIを使って、コード生成を試せないのかな？と思ったドキュメントを見ると、llama-cpp-pythonのドキュメントに コード生成（コード補完）について書かれているのを見つけまして。 OpenAI Compatible Serv…
これは、なにをしたくて書いたもの？ 以前のエントリーで、SentenceTransformersとintfloat/multilingual-e5のモデルを使ってテキスト埋め込みを試してみました。 SentenceTransformersとintfloat/multilingual-e5でテキスト埋め込みを試してみる - CLOVER i…
これは、なにをしたくて書いたもの？ テキストの埋め込み（ベクトル化）の方法をいろいろ見ているのですが、SentenceTransformersというものを押さえておいた方が よさそうに思ったので試してみることにしました。 SentenceTransformers SentenceTransformer…
これは、なにをしたくて書いたもの？ テキスト埋め込みについていろいろ試していて、どんなモデルがあるのか知らないといけないなと思ったところ、MTEBという ベンチマークの存在を知ったのでメモしておこうかなと。 MTEB（Massive Text Embedding Benchmark…
これは、なにをしたくて書いたもの？ 以前、こんなエントリーを書いてみました。 llama-cpp-pythonで立てたOpenAI API互換のサーバーで、テキストをベクトル化してみる - CLOVER このエントリーの最後にテキストをベクトル化して、ドキュメントの集合に対し…
これは、なにをしたくて書いたもの？ Transformersかつ日本語で、なにか動かしてみたいなと思って題材を探していたのですが、MLM（Masked Language Modeling）が ちょうど良さそうだったので試してみました。 MLM（Masked Language Modeling） MLM（Masked L…
これは、なにをしたくて書いたもの？ Transformersでテキスト生成ができそうだったので、こちらをTransformersの足がかりとして試してみたいと思います。 Transformersでのテキスト生成 テキスト生成には、Transformersでできることに挙げられています。 Tr…
これは、なにをしたくて書いたもの？ 以前、ローカルで動かせるOpenAI API互換のサーバーとしてllama-cpp-pythonを使ってみました。 llama-cpp-pythonで、OpenAI API互換のサーバーを試す - CLOVER 他にも同様のことができるものとして、LocalAIというものが…
これは、なにをしたくて書いたもの？ 前に、こんなエントリーを書きました。 OpenAI Python APIライブラリーからllama-cpp-pythonで立てたOpenAI API互換のサーバーのチャットモデルへアクセスしてみる - CLOVER この時は、llama-cpp-pythonで立てたOpenAI A…
これは、なにをしたくて書いたもの？ 前に、llama-cpp-pythonを使って、OpenAI API互換のサーバーを立てるということをやってみました。 llama-cpp-pythonで、OpenAI API互換のサーバーを試す - CLOVER この時はcurlでアクセスして確認してみましたが、今度…
これは、なにをしたくて書いたもの？ llama-cpp-pythonを使うとOpenAI API互換のサーバーを立てられることを知ったので、ちょっと動かしてみました。 llama-cpp-python llama-cpp-pythonのGitHubリポジトリーはこちら。 GitHub - abetlen/llama-cpp-python: …
