VWorkブログを更新しました。
VWorkブログを更新しました。
DD2030の広聴AIを、GPUのない自治体の普通のPCで動かせるのか。開発の中心の西尾さんから「公式のベンチも推奨スペックもまだ無い」「目標を普通のPCに定め直そう」と整理があったので、4コア・16GB・GPUなしの条件で3つのローカルLLMを測って返信しました。8B級なら100件の抽出が約13分。思考型のgemma4は広聴AIを通すと3倍遅くなる、という落とし穴も見つかりました
記事: https://katsushi2441.github.io/vwork/blog/2026-10-12-kouchou-ai-local-llm-cpu.html
株式会社エクスブリッジ https://exbridge.jp/
DD2030の広聴AIを、GPUのない自治体の普通のPCで動かせるのか。開発の中心の西尾さんから「公式のベンチも推奨スペックもまだ無い」「目標を普通のPCに定め直そう」と整理があったので、4コア・16GB・GPUなしの条件で3つのローカルLLMを測って返信しました。8B級なら100件の抽出が約13分。思考型のgemma4は広聴AIを通すと3倍遅くなる、という落とし穴も見つかりました
記事: https://katsushi2441.github.io/vwork/blog/2026-10-12-kouchou-ai-local-llm-cpu.html
株式会社エクスブリッジ https://exbridge.jp/
katsushi2441.github.io
広聴AIはGPUなしのPCで動くか｜ローカルLLMの実測
デジタル民主主義2030（DD2030）の広聴AIを、GPUのない自治体の普通のPCで動かせるかを測りました。4コア・メモリ16GB・GPUなしの条件で、ELYZA-JP-8Bは1秒5.7トークン、広聴AIの意見抽出は1件7.9秒で、100件なら約13分。思考型のgemma4は広聴AIを通すと約3倍遅くなります。開発の中心の西尾さんの整理を受けて、測ってから返信した経緯をまとめます。