LLMモデルの比較

この数字の測り方

何を測ったか

日本の職場で実際に起きる書き仕事を7分類・35問にしたものを、31モデルに解かせました。給与明細・社内通達・議事録・相談記録などの素材は、すべてこちらで作った架空のものです。実在の人名・会社名・電話番号・メールアドレスは1件も含まれていません。

「答えられない質問への対応」とは

答えが存在しない質問を5種類、それぞれ9回ずつ投げました。 架空の法律の条文／情報が足りない計算／まだ決まっていない法改正／個別の法的判断／出典のない統計の5つです。「わかりません」「確認が必要です」と答えられたら正解、条文や数字を答えたら不正解としています。表の 36/45 は「45回のうち36回、正しく保留できた」という意味です。

なぜ9回も投げるのか。 同じ設定（temperature=0 / seed=42）で同じ質問をしても、同じ答えが返るとは限らないためです。クラウド提供のモデルでは15組中8組で答えが入れ替わりました。提供元を1社に固定しても消えませんでした。3回と9回では結果が20ポイントずれたため、この項目だけ9回にしています。

2つの測定環境が混ざっています

• クラウド22モデル — OpenRouter API 経由。追加5件は提供元を固定し、量子化を記録しました。既存10件は提供元を指定せず、提供元・量子化の記録はありません。必要メモリと速度は測定対象外です（提供元の設備で動くため原理的に測れません）。
• ローカル9モデル — MacBook Pro（M5 Max・メモリ128GB）で Ollama を使って実行。量子化は全件 Q4_K_M に揃えています。必要メモリと速度はこの機械での実測値です。要約・敬語・個人情報の3項目は、クラウド22モデルと同じ採点役（moonshotai/kimi-k2.5）で採点しました（既存5件は2026年9月4日）。

手元の Mac では、同じ条件なら毎回同じ答えが返ります。そのため「答えられない質問」の9回は実質1回分で、Granite 手元版の27/45は「5問中3問で正しく保留」と同じ意味です。クラウドは同じ条件でも回ごとに答えが割れます。

Granite 4.2 8B は同じモデルをクラウド（圧縮なし・bf16）と手元（Q4_K_M）の両方で測りました。設問ごとに結果が入れ替わっており、圧縮すると成績が上がる、とは読めません。手元版は Ollama 0.33.3（既存5件は0.33.2）で測定しました。

採点した人（機械）

35問のうち20問は文字列の照合で機械的に採点しました。残る15問（要約・敬語・個人情報の配慮）は別のAI（moonshotai/kimi-k2.5）に採点させています。採点役は、評価対象と系列が重ならないものを選びました。

数字を並べて見えたこと

項目ごとに順位は入れ替わります。答えられない質問への対応が最も良かった Qwen2.5 Bakeneko 32B（36/45）は、敬語が31モデル中で最も低い54点でした。敬語83点の LLM-jp-4 33B は、答えられない質問で一度も保留できませんでした（0/45）。一方で Granite 4.2 8B（手元）は両方とも高く（27/45・86点）、単純な逆の関係でもありません。だから総合点ではなく、用途に必要な項目を見てください。

実務上の意味はひとつです。読みやすさで選ぶと、確認を促す力までは選べません。用途に必要な項目を、個別に見てください。そのために総合点を出していません。

利益相反について

この設問と採点基準は、AI COUNCIL の運営者（株式会社EFFECT）が作りました。採点役のAIも運営者が選んでいます。中立な第三者による測定ではありません。 検証していただけるよう、設問・採点基準・生の回答をすべて公開しています。

まだ測っていないこと

• 入力データが学習に使われるか — 提供元ごとに異なり、未確認です
• クラウド22モデルの必要メモリ・速度 — 原理的に測れません

測定条件

• 測定日: 2026年9月1日（既存のクラウド測定10件） / 2026年9月16日（追加クラウド5件） / 2026年9月2〜3日（既存のローカル5件） / 2026年9月17日（Granite 手元版）
• パラメータ: temperature = 0 / seed = 42（Hy4 preview の提供元は seed 非対応） / システムプロンプトなし
• 点数は各項目100点満点。合計も平均も出していません