これは、なにをしたくて書いたもの？ llama.cppやLocalAIを使って、コード生成を試せないのかな？と思ったドキュメントを見ると、llama-cpp-pythonのドキュメントに コード生成（コード補完）について書かれているのを見つけまして。 OpenAI Compatible Serv…

これは、なにをしたくて書いたもの？ Transformersかつ日本語で、なにか動かしてみたいなと思って題材を探していたのですが、MLM（Masked Language Modeling）が ちょうど良さそうだったので試してみました。 MLM（Masked Language Modeling） MLM（Masked L…

Hugging Faceのライブラリー（TransformersやDatasetsなど）を使うと、学習済みのモデルやデータセットをHugging Face Hubから ダウンロードしてきます。 これ、けっこう大きなサイズのものになるので、使わないものは削除しないとディスクがいくらあっても…

これは、なにをしたくて書いたもの？ Transformersでテキスト生成ができそうだったので、こちらをTransformersの足がかりとして試してみたいと思います。 Transformersでのテキスト生成 テキスト生成には、Transformersでできることに挙げられています。 Tr…

これは、なにをしたくて書いたもの？ Hugging Faceの開発しているライブラリーであるTransformersを使うと、これだけでも質疑応答やテキスト分類といったタスクが 実行できるようなので、ちょっと調べてみました。 最初はなにかタスクを試してみようかなと思…

これは、なにをしたくて書いたもの？ llama.cppなどを使っているとモデルが必要になりますが、この時にHugging Faceというサイトからダウンロードすることになります。 最初は単にモデルが置かれているサイトとしか思っていなかったのですが、それは誤りのよ…