CLOVER🍀

That was when it all began.

LocalAI

Metaの「Llama 3」をOpenAI API互換のサーバーを持つllama-cpp-pythonとLocalAIで試す

これは、なにをしたくて書いたもの? MetaからLlama 3がリリースされました。 Meta、無料で商用可の新LLM「Llama 3」、ほぼすべてのクラウドでアクセス可能に - ITmedia NEWS このLlama 3をOpenAI API互換のサーバーを持つllama-cpp-pythonおよびLocalAIで動…

GoogleのLLM「Gemma」をOpenAI API互換のサーバーを持つllama-cpp-pythonとLocalAIで試す

これは、なにをしたくて書いたもの? 前に、GoogleのLLMであるGemmaをTransformersで動かしてみました。 GoogleのLLM「Gemma」をTransformersで試す - CLOVER なのですが、これが自分の環境だとものすごく重かったので、ちょっと方向を変えてOpenAI API互換…

LocalAIのテキスト埋め込みのバックエンドにSentenceTransformersを使ってみる

これは、なにをしたくて書いたもの? 以前のエントリーで、SentenceTransformersとintfloat/multilingual-e5のモデルを使ってテキスト埋め込みを試してみました。 SentenceTransformersとintfloat/multilingual-e5でテキスト埋め込みを試してみる - CLOVER i…

LocalAI+bert.cppでテキストをベクトル化してみる

これは、なにをしたくて書いたもの? 以前、こんなエントリーを書いてみました。 llama-cpp-pythonで立てたOpenAI API互換のサーバーで、テキストをベクトル化してみる - CLOVER このエントリーの最後にテキストをベクトル化して、ドキュメントの集合に対し…

OpenAI API互換のサーバーをローカルで動かせるLocalAIを試す

これは、なにをしたくて書いたもの? 以前、ローカルで動かせるOpenAI API互換のサーバーとしてllama-cpp-pythonを使ってみました。 llama-cpp-pythonで、OpenAI API互換のサーバーを試す - CLOVER 他にも同様のことができるものとして、LocalAIというものが…