{
 "これは何か": "手を動かしてコードを直す力を測った試験です。日本語軸の35問とは別の軸で、点数を足し合わせたり順位を付けたりはしていません。",
 "🔴 読むときの注意": [
  "出題は株式会社EFFECTが作りました（6問）。中立な第三者の問題集ではありません。",
  "測ったのは5モデルだけで、日本語軸の24モデル全部ではありません。ここに無いモデルが劣るという意味ではありません。",
  "1問を2回ずつ試した結果です。回数が少ないため、参考値として読んでください。",
  "総合点・総合順位は出していません。",
  "途中でエラー終了した試行は、結果に数えずやり直しています（件数は各行に出しています）。"
 ],
 "測った日": "2026-10-02",
 "測り方": {
  "動かし方": "Claude Code（CLI）に各モデルをつないで、課題フォルダの中だけで作業させました。モデル選択は Opus / Sonnet / Haiku / サブエージェントのすべてを対象のモデルに固定しています。",
  "合格の条件": "見えているテストと、モデルに見せていない隠しテストの両方が全部通り、かつテストファイルを書き換えていないこと。",
  "禁止したこと": "出題文で全6問に「テストファイルは変更しないでください」と明記しました。書き換えた試行は、隠しテストが通っていても合格から除いています。",
  "1問あたりの上限": "最大30ターン・900秒。超えたものは「時間切れ」として不合格に数えています。",
  "数えなかったもの": "残高不足（API Error 402）で打ち切られた試行は、モデルの出来ではないため結果に数えず、やり直した結果を採用しています。"
 },
 "出題": [
  {
   "id": "t1_fiscal",
   "やること": "docstring に書かれた仕様どおりに動いていない関数を直す"
  },
  {
   "id": "t2_invoice",
   "やること": "README の仕様（端数処理・例外・戻り値の形）どおりに請求額の計算を実装する"
  },
  {
   "id": "t3_inventory",
   "やること": "在庫管理の不具合を直す。テストに出てこない仕様違反も直す"
  },
  {
   "id": "t4_refactor",
   "やること": "長い関数を、挙動を変えずに全関数25行以内へ分割する"
  },
  {
   "id": "t5_calc",
   "やること": "式の評価器を実装する（優先順位・型・丸め・エラー位置まで）"
  },
  {
   "id": "t6_household",
   "やること": "家計簿の複数の不具合を、README を読んで見つけて直す"
  }
 ],
 "結果": [
  {
   "model": "deepseek/deepseek-v4.1-flash",
   "name": "DeepSeek V4.1 Flash",
   "通った": 12,
   "試行": 12,
   "テストを書き換えた試行": 0,
   "書き換えた問題": [],
   "通らなかった問題": [],
   "1試行の中央値（秒）": 13.5,
   "実費（ドル）": 0.115,
   "数に入れなかった試行（エラー終了）": 0,
   "問題ごと": {
    "t1_fiscal": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t2_invoice": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t3_inventory": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t4_refactor": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t5_calc": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t6_household": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    }
   }
  },
  {
   "model": "xiaomi/mimo-v2.6-pro",
   "name": "MiMo v2.6 Pro",
   "通った": 10,
   "試行": 12,
   "テストを書き換えた試行": 0,
   "書き換えた問題": [],
   "通らなかった問題": [
    "t5_calc"
   ],
   "1試行の中央値（秒）": 367.1,
   "実費（ドル）": 1.37,
   "数に入れなかった試行（エラー終了）": 0,
   "問題ごと": {
    "t1_fiscal": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t2_invoice": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t3_inventory": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t4_refactor": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t5_calc": {
     "試行": 2,
     "通った": 0,
     "テストを書き換えた": 0,
     "時間切れ": 2
    },
    "t6_household": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    }
   }
  },
  {
   "model": "qwen/qwen3.8-flash",
   "name": "Qwen3.8 Flash",
   "通った": 10,
   "試行": 12,
   "テストを書き換えた試行": 2,
   "書き換えた問題": [
    "t5_calc",
    "t6_household"
   ],
   "通らなかった問題": [
    "t5_calc",
    "t6_household"
   ],
   "1試行の中央値（秒）": 212.5,
   "実費（ドル）": 0.681,
   "数に入れなかった試行（エラー終了）": 0,
   "問題ごと": {
    "t1_fiscal": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t2_invoice": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t3_inventory": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t4_refactor": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t5_calc": {
     "試行": 2,
     "通った": 1,
     "テストを書き換えた": 1,
     "時間切れ": 0
    },
    "t6_household": {
     "試行": 2,
     "通った": 1,
     "テストを書き換えた": 1,
     "時間切れ": 0
    }
   }
  },
  {
   "model": "z-ai/glm-5.3",
   "name": "GLM 5.3",
   "通った": 9,
   "試行": 12,
   "テストを書き換えた試行": 1,
   "書き換えた問題": [
    "t3_inventory"
   ],
   "通らなかった問題": [
    "t3_inventory",
    "t5_calc"
   ],
   "1試行の中央値（秒）": 31.8,
   "実費（ドル）": 2.249,
   "数に入れなかった試行（エラー終了）": 3,
   "問題ごと": {
    "t1_fiscal": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t2_invoice": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t3_inventory": {
     "試行": 2,
     "通った": 1,
     "テストを書き換えた": 1,
     "時間切れ": 0
    },
    "t4_refactor": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t5_calc": {
     "試行": 2,
     "通った": 0,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t6_household": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    }
   }
  },
  {
   "model": "z-ai/glm-5.3-flash",
   "name": "GLM 5.3 Flash",
   "通った": 7,
   "試行": 12,
   "テストを書き換えた試行": 0,
   "書き換えた問題": [],
   "通らなかった問題": [
    "t3_inventory",
    "t4_refactor",
    "t5_calc",
    "t6_household"
   ],
   "1試行の中央値（秒）": 82.9,
   "実費（ドル）": 0.547,
   "数に入れなかった試行（エラー終了）": 0,
   "問題ごと": {
    "t1_fiscal": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t2_invoice": {
     "試行": 2,
     "通った": 2,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t3_inventory": {
     "試行": 2,
     "通った": 1,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t4_refactor": {
     "試行": 2,
     "通った": 1,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t5_calc": {
     "試行": 2,
     "通った": 0,
     "テストを書き換えた": 0,
     "時間切れ": 0
    },
    "t6_household": {
     "試行": 2,
     "通った": 1,
     "テストを書き換えた": 0,
     "時間切れ": 0
    }
   }
  }
 ]
}