ProgramBench

引用頻度 2/3
何を測定しますか?
ProgramBenchチームが作った試験で、AIが実行ファイルと動作仕様だけを見て、コマンドラインのプログラムを一から作り直せるかを見ます。
誰がどのように評価しますか?
公開課題200問で、インターネットや逆コンパイラなしにプログラムを実行してみるだけでソースコードを新しく書きます。隠しテストをすべて通過した場合のみ解決とします。Vals AIが全モデルを同じハーネスで、1課題6時間・1,000ステップ以内で測ります。
スコアの読み方
スコアは0〜100%です。高いほど良い結果です。最も厳しい指標のため、上位モデルでも20%を超えません。テストを95%以上通過した「ほぼ解決」の割合ははるかに高くなります。
最高スコア19.0%
測定したモデル57件
測定基準高いほど良い
最終更新2026.11.19
モデルのリリース時期
  1. 1
    Anthropic2026.11.09
    19.0%
  2. 2
    Anthropic2026.09.22
    18.5%
  3. 3
    Anthropic2026.09.01
    7.0%
  4. 4
    Anthropic2026.09.28
    6.5%
  5. 5
    OpenAI2026.09.04 · max
    5.5%
  6. 6
    OpenAI2026.09.29 · max
    3.0%
  7. 6
    Anthropic2026.07.24
    3.0%
  8. 8
    Anthropic2026.10.07
    2.5%
  9. 8
    Google2026.09.30 · high
    2.5%
  10. 8
    Meta2026.09.02 · max
    2.5%

「作業ツール」はAIが課題を解くときに使った実行環境(エージェントプログラム)です。同じモデルでも作業ツールと推論の強さによってスコアが大きく変わることがあります。