ローカルLLMの日本語判断を41問で実測｜3モデル比較
自社で使っているモデルを一度も他と比べていなかったので、日本語の判断を41問作って測りました。Qwen3.5-4B・gemma-4-E4B・sarashina2.2-3b を同じ方式（選択肢のロジットを1回の順伝播で読む）で比較。総合は現行のQwenが32/41で勝ちますが、常識推論だけ3Bの日本語特化モデルが9/12で、4Bの2つ（どちらも6/12）を上回りました。しかも46msで1.7倍速い。3モデルとも「分からない」を選べない穴も見つかりました。
https://exbridge.jp/vibeblog/2026-09-27-local-llm-japanese-judgment-bench.html
https://exbridge.jp/vibeblog/2026-09-27-local-llm-japanese-judgment-bench.html
exbridge.jp
ローカルLLMの日本語判断を41問で実測｜3モデル比較
ローカルLLMで日本語の判断を返すとき、どのモデルが良いかを41問で実測しました。Qwen3.5-4B・gemma-4-E4B・sarashina2.2-3bを同じ方式で比べ、総合では現行が勝つ一方、常識推論だけ3Bの日本語特化モデルが9/12と逆転した結果を紹介します。