これは、なにをしたくて書いたもの？ Transformersでテキスト生成ができそうだったので、こちらをTransformersの足がかりとして試してみたいと思います。 Transformersでのテキスト生成 テキスト生成には、Transformersでできることに挙げられています。 Tr…

これは、なにをしたくて書いたもの？ 以前、ローカルで動かせるOpenAI API互換のサーバーとしてllama-cpp-pythonを使ってみました。 llama-cpp-pythonで、OpenAI API互換のサーバーを試す - CLOVER 他にも同様のことができるものとして、LocalAIというものが…

これは、なにをしたくて書いたもの？ 前に、こんなエントリーを書きました。 OpenAI Python APIライブラリーからllama-cpp-pythonで立てたOpenAI API互換のサーバーのチャットモデルへアクセスしてみる - CLOVER この時は、llama-cpp-pythonで立てたOpenAI A…

これは、なにをしたくて書いたもの？ 前に、llama-cpp-pythonを使って、OpenAI API互換のサーバーを立てるということをやってみました。 llama-cpp-pythonで、OpenAI API互換のサーバーを試す - CLOVER この時はcurlでアクセスして確認してみましたが、今度…

これは、なにをしたくて書いたもの？ llama-cpp-pythonを使うとOpenAI API互換のサーバーを立てられることを知ったので、ちょっと動かしてみました。 llama-cpp-python llama-cpp-pythonのGitHubリポジトリーはこちら。 GitHub - abetlen/llama-cpp-python: …