noteを更新しました（Muse Glimmer実測・第2弾）。
noteを更新しました（Muse Glimmer実測・第2弾）。
Muse Glimmer実測——RTX 3090で41.8 tok/s。それでも手元の12Bを置き換える理由は無かった
GPU独占なら41.8 tok/s・本番と同居なら1.6 tok/s。think:false必須と「見えない300トークン」の罠、本番が10倍遅くなった事故と12秒での復旧まで、数字ごと全部書きました。
記事: https://note.com/tokoname/n/n11706263b5cc
Muse Glimmer実測——RTX 3090で41.8 tok/s。それでも手元の12Bを置き換える理由は無かった
GPU独占なら41.8 tok/s・本番と同居なら1.6 tok/s。think:false必須と「見えない300トークン」の罠、本番が10倍遅くなった事故と12秒での復旧まで、数字ごと全部書きました。
記事: https://note.com/tokoname/n/n11706263b5cc
note.com
Muse Glimmer実測——RTX 3090で41.8 tok/s。それでも手元の12Bを置き換える理由は無かった｜BittensorMan
名古屋でAIシステム開発の会社をやっています。前回、Metaの新ローカルAI「Muse Glimmer」が本番GPUに入らなかった話を書きました。 https://note.com/tokoname/n/n732bf9b469d3 今回はその続きです。GPUの空きを作り、実行エンジン（Ollama）の最新版を用意して、実際に動かして測りました。結論から書くと——ちゃんと動けば速い。それでも、うちの現行の12Bモデルを置き