Open WebUI＋OllamaでRAGを試す

前に、OllamaをWeb UIで操作できるツールのひとつとして、Open WebUIを扱いました。

Open WebUIを使うと簡単にRAGを試せるようなので、1度使ってみたいと思います。

Open WebUIのRAGの機能について書かれたページはこちらです。

見ていると、チャット欄に#に続けてローカルファイルまたはURLを入力することで、指定したドキュメントを使ってくれるようです。

こちらを試してみようというのが今回のお題です。

今回の環境はこちら。

$ bin/ollama serve

$ bin/ollama --version
ollama version is 0.6.2

モデルはGemma 3 4Bを使います。

Open WebUIは0.5.20を使います。

このブログで扱っている内容で、LLMが答えられなさそうな（？）WildFly Glowについて聞いてみました。

Gemma 3はどうやらWildFly Glowのことを知らないようですが、知っているかのように返してきますね。

では、ここで外部のWebページを情報として与えてみたいと思います。最初にWildFly Glowについて書かれていた、こちらのブログエントリーが
よいでしょう。

チャットは新しく開始することにします。

#の後に続けてURLを入力すると、こんな表示に切り替わります。

このままEnterを押すと「ドキュメント」という表示されます。

この状態でもう1度同じことを聞くと、参照先のブログエントリーの内容を考慮した内容で答えてくれました。

よいですね。

ちなみに、自分もWildFly Glowについてのエントリーを書いていたので、こちらを入力にして聞いてみます。

結果。

自分が書いたエントリーはWildFly Glow自体の説明よりも他の内容が多いからか、なんか微妙に薄い内容になりましたね…。

ドキュメントは複数与えることもできます。ひとつずつ、ドキュメントとして確定させていけばOKです。

先にWebページを参照する例を挙げましたが、ローカルファイルを参照することもできます。

Open WebUIにファイルをドラッグ＆ドロップするか

「＋」の部分からファイルをアップロードしたりできます。

こんなところでしょうか。

Open WebUI＋OllamaでRAGを使ってみました。

ソースコードを書かずに簡単にRAGを試せるのがよいですね。

ただ、自分の環境だとRAGを動作させるとかなり重くなりますが…。Gemma 3の4Bモデルを使ったことも効いていますが、1Bまで下げて
しまうとRAGを使った時に日本語を話してくれなくなりました…。