Local AI - WebRag Performance
Built entirely in-house via llama_cpp_python. No cloud APIs, no external serving tools
PC: Intel 7 240H / 32GB RAM / RTX-5050 Laptop (8GB/45W)
Model: Qwen_Qwen3-4B-Instruct-2507-Q6_K_L.gguf
#LocalAI #OnPremiseAI #WebRag
Built entirely in-house via llama_cpp_python. No cloud APIs, no external serving tools
PC: Intel 7 240H / 32GB RAM / RTX-5050 Laptop (8GB/45W)
Model: Qwen_Qwen3-4B-Instruct-2507-Q6_K_L.gguf
#LocalAI #OnPremiseAI #WebRag
March 30, 2026 at 6:49 AM
Local AI - WebRag Performance
Built entirely in-house via llama_cpp_python. No cloud APIs, no external serving tools
PC: Intel 7 240H / 32GB RAM / RTX-5050 Laptop (8GB/45W)
Model: Qwen_Qwen3-4B-Instruct-2507-Q6_K_L.gguf
#LocalAI #OnPremiseAI #WebRag
Built entirely in-house via llama_cpp_python. No cloud APIs, no external serving tools
PC: Intel 7 240H / 32GB RAM / RTX-5050 Laptop (8GB/45W)
Model: Qwen_Qwen3-4B-Instruct-2507-Q6_K_L.gguf
#LocalAI #OnPremiseAI #WebRag
OpenWebUIをv0.9.6->v0.11.0にupgradeしてみたらgpt-oss:20b以外でWebRAGが失敗するエラーが"一応"解消されているみたいだ。ただ、v0.9.6以前で動かせていた文字列置換用Actionは相変わらず動かない。分かったことがある。v0.11.0で内部的には正常に置換処理が適用できていた。ただdbに反映されずチャット画面上の出力には置換結果が反映されない。カスタムの簡単なActionなんだが出力にはしばしば文字の取り違えなどがあるから使っていたい。このため再びv0.9.6に戻してるが、この点を「直してくれんか」なあ（笑）
ログを見るとかIssueを調べるなどはやってないのでv0.9.6で止めてる。組織利用も含めて深い使い方はまだしていないので既存の簡単な自作Actionを前提とした日常的なフローが動いていてくれた方が良いので留まってる。別環境を作ってv0.10.xを試したがノートの改善機能なんかは動くようになっているものの日本語的には最初に必ず英語で生成してしまったりして、v0.9系までに信頼した前提を捨ててまでアップデートする利益がまだ無い。これは完全に独善的な話に過ぎないが、次の安定的な状態が見えるまではv0.9.6で良さそうに思う（ノートの改善コマンドは機能しないが、改善コマンドは中途半端な機能だね）
OpenWebUI: ユーザーカスタムの置換Actionの結果が恒久化されない現象はv0.9.6までには解決してるね。一方で、これはモデルとの関係かもしれないが自分の環境ではgemma4やQwen3系でWeb RAGが検索はしてるのに最終的に"ソースがみつかりません"となって検索内容をレスポンスに反映できない。gpt-oss:20bだけはそれが正常に動くという状態。また、v0.10.0以降でFunction周りで何か変わったようで、自作Actionの動作が全滅。一部はEmitterがトリガされない、他はダイアログ表示やその入力系は動いてるがレスポンステキストを取り出す部分が動いてない。
August 25, 2026 at 5:01 AM
OpenWebUIをv0.9.6->v0.11.0にupgradeしてみたらgpt-oss:20b以外でWebRAGが失敗するエラーが"一応"解消されているみたいだ。ただ、v0.9.6以前で動かせていた文字列置換用Actionは相変わらず動かない。分かったことがある。v0.11.0で内部的には正常に置換処理が適用できていた。ただdbに反映されずチャット画面上の出力には置換結果が反映されない。カスタムの簡単なActionなんだが出力にはしばしば文字の取り違えなどがあるから使っていたい。このため再びv0.9.6に戻してるが、この点を「直してくれんか」なあ（笑）