MEASUREMENT EVIDENCE

測定の根拠

この測定で使った設問・採点基準・生の回答を、加工せずに置いています。設問と採点基準は株式会社EFFECTが作りました。中立な第三者による測定ではありません。検証していただくために、材料をすべて出しています。

公開済みの追加検証:6件

モデル名から結果と条件を開けます。従来の比較表31モデルと測定条件が異なるため、同じ点数で順位付けしません。

モデル別の検証結果・実行環境
モデル用途・実行環境確認できた結果評価上の注意
LLM-jp 4.1 32B-A3B (thinking)ローカル実測35試行:正常35・失敗0
保留45試行/メモリ 8K・32K
端末・テンプレート・採点条件は詳細に記載。
ELYZA-Thinking 1.0 32B-A3Bローカル実測35試行:正常35・失敗0
保留45試行/メモリ 8K・32K
端末・テンプレート・採点条件は詳細に記載。
Nemotron 3.5 Lightning 30B-A3BNVIDIA公式API検証35試行:正常35・失敗0
未採点。正常終了は正答の保証ではありません。
Nemotron 3.5 Super VL 120B-A12BNVIDIA公式API検証35試行:正常32・失敗3
未採点。正常終了は正答の保証ではありません。要求名と返却名の同一性は未確認です。
BERT 日本語感情分析(WRIME)感情分析・ローカルCPU評価1,196件の感情分析
平均の誤差:書き手 0.567/読み手 0.213(0〜3尺度)
文章生成とは別評価。人の感情の断定には使えません。
Kimi K3.1 ProOllama Cloud公式API検証35試行:正常34・失敗1
未採点。正常終了は正答の保証ではありません。

API検証はローカルGPUの速度・メモリ測定ではありません。BERTは感情分析であり、生成AIの35問評価とは比較しません。EFFECTが設問・採点役や評価方法を選定しており、中立な第三者評価ではありません。

従来の比較表31モデルの根拠

JSONデータをダウンロードする

この測定を、自社の機材で再現する

この実測を御社の機材で再現します —AI LOCAL 実機診断(運営会社の商品・お伺いしません)。

AI に自社が紹介されているかはAI CRAWLで確認できます。

いずれも AI COUNCIL の運営会社、株式会社EFFECTが提供しています。

Copyright 2026 AI COUNCIL. 運営:株式会社EFFECT