感情分析/M1 CPU評価/2026年10月28日
BERT 日本語感情分析
実用性と精度の検証
短い日本語投稿の傾向整理や、人が確認する候補の抽出には検討できます。本人の感情の断定、苦情や緊急性の自動決定には推奨しません。
対象と評価条件
対象:patrickramos/bert-base-japanese-v2-wrime-fine-tune。M1のCPU1スレッド・低優先度で評価。GPUや有料APIは使用していません。
公開訓練コードではtrainを学習、testを各学習周回の評価に使用しています。今回、WRIMEデータのdev 1,200件から、train/testと文字正規化・空白除去後に一致する4件を除き、1,196件を評価しました。
学習未使用の確認範囲:公開コード上、devは重み更新にも各周回の評価にも使われていません。公開重みの非公開追加学習、意味の近い言い換え、元BERTの事前学習データとの重複までは証明していません。
精度:正解の感情強度との差
正解は0〜3の強度です。数値は小さいほど誤差が小さく、正答率ではありません。「比較値」は学習データの平均だけを返す単純な予測です。
| 対象 | 平均絶対誤差 | 平均二乗誤差 | 比較値の二乗誤差 |
|---|---|---|---|
| 書き手本人 | 0.567 | 0.748 | 0.957 |
| 読み手3人の平均 | 0.213 | 0.121 | 0.237 |
各感情の二乗誤差は単純な平均予測より小さくなりました。ただし読み手は3人の平均であり、書き手と同じ難易度ではありません。感情強度が0の例が多いと、全体の誤差も小さくなりやすくなります。
感情別の平均絶対誤差を見る
| 感情 | 書き手 | 読み手平均 |
|---|---|---|
| 喜び | 0.706 | 0.299 |
| 悲しみ | 0.673 | 0.247 |
| 期待 | 0.807 | 0.306 |
| 驚き | 0.694 | 0.267 |
| 怒り | 0.307 | 0.063 |
| 恐れ | 0.346 | 0.231 |
| 嫌悪 | 0.406 | 0.179 |
| 信頼 | 0.600 | 0.111 |
使う際の限界
- 出力の14.56%が0〜3の範囲外でした。確率として扱えません。値を補正して評価を良く見せる処理はしていません。
- 先行した人工例の確認では、否定・皮肉・空文に不適切な感情値が残りました。空文の除外と人による確認が必要です。
- 強い感情の例では誤差が大きい場合があります。全体の平均誤差だけで怒りや危険の検出に使えるとは判断できません。
- WRIMEの短文領域の結果です。業務メール、医療相談、顧客満足度など別領域で同じ精度を保証しません。
処理時間と評価の根拠
1,196件の推論・記録は33.47秒。モデル読込を含みません。APIや生成AIの速度とは比較できません。今回の追加利用料は0米ドルです。
利益相反:EFFECTが対象モデルと評価方法を選定しました。正解はWRIMEの人手評定です。有料AI採点は実施していません。
評価データSHA256:431ffe3c639dce268046ba6bdd0ec0cb949bc5abe7ac42833fd5cdf35210abac