Llama
これは、なにをしたくて書いたもの？ これまでよくOpenAI API互換のサーバーにOpenAI Python APIライブラリーからアクセスして試していたのですが、1度Javaからも アクセスしてみようかなと思いまして。 アクセス先としては、llama-cpp-pythonを使うことにし…
これは、なにをしたくて書いたもの？ 今までQdrantのチュートリアルを試してきたのですが、今度はExampleを見てみようと思います。 Examples - Qdrant ただ、Exampleで見るのは「基本的なRAG（Basic RAG）」のみにしたいと思います。それから、Qdrant自体を…
これは、なにをしたくて書いたもの？ MetaからLlama 3がリリースされました。 Meta、無料で商用可の新LLM「Llama 3」、ほぼすべてのクラウドでアクセス可能に - ITmedia NEWS このLlama 3をOpenAI API互換のサーバーを持つllama-cpp-pythonおよびLocalAIで動…
これは、なにをしたくて書いたもの？ 前に、GoogleのLLMであるGemmaをTransformersで動かしてみました。 GoogleのLLM「Gemma」をTransformersで試す - CLOVER なのですが、これが自分の環境だとものすごく重かったので、ちょっと方向を変えてOpenAI API互換…
これは、なにをしたくて書いたもの？ 以前のエントリーで、SalesforceのCodeGenのモデルを使ってソースコードの生成を行ってみました。 Transformersでコード生成を行ってみる - CLOVER この時は、llama-cpp-pythonのドキュメントで紹介されていたReplit Cod…
これは、なにをしたくて書いたもの？ 以前、ローカルで動かせるOpenAI API互換のサーバーとしてllama-cpp-pythonを使ってみました。 llama-cpp-pythonで、OpenAI API互換のサーバーを試す - CLOVER 他にも同様のことができるものとして、LocalAIというものが…
これは、なにをしたくて書いたもの？ 前に、こんなエントリーを書きました。 OpenAI Python APIライブラリーからllama-cpp-pythonで立てたOpenAI API互換のサーバーのチャットモデルへアクセスしてみる - CLOVER この時は、llama-cpp-pythonで立てたOpenAI A…
これは、なにをしたくて書いたもの？ 前に、llama-cpp-pythonを使って、OpenAI API互換のサーバーを立てるということをやってみました。 llama-cpp-pythonで、OpenAI API互換のサーバーを試す - CLOVER この時はcurlでアクセスして確認してみましたが、今度…
llama-cpp-pythonを使うのはいいのですが、llama-cpp-pythonが使っているllama.cppのバージョンが気になるところです。 リリースの頻度も高いです。 Releases · ggerganov/llama.cpp · GitHub どれを見ているのでしょう？ llama-cpp-pythonのバージョン確認…
これは、なにをしたくて書いたもの？ llama-cpp-pythonを使うとOpenAI API互換のサーバーを立てられることを知ったので、ちょっと動かしてみました。 llama-cpp-python llama-cpp-pythonのGitHubリポジトリーはこちら。 GitHub - abetlen/llama-cpp-python: …
