ProgramBench
引用頻度 2/3
- 何を測定しますか?
- ProgramBenchチームが作った試験で、AIが実行ファイルと動作仕様だけを見て、コマンドラインのプログラムを一から作り直せるかを見ます。
- 誰がどのように評価しますか?
- 公開課題200問で、インターネットや逆コンパイラなしにプログラムを実行してみるだけでソースコードを新しく書きます。隠しテストをすべて通過した場合のみ解決とします。Vals AIが全モデルを同じハーネスで、1課題6時間・1,000ステップ以内で測ります。
- スコアの読み方
- スコアは0〜100%です。高いほど良い結果です。最も厳しい指標のため、上位モデルでも20%を超えません。テストを95%以上通過した「ほぼ解決」の割合ははるかに高くなります。
最高スコア19.0%
測定したモデル57件
測定基準高いほど良い
最終更新2026.11.19
モデルのリリース時期
順位モデル実行条件リリース日価格/1Mスコア
- 12026.11.09$3219.0%
- 22026.09.22$1618.5%
- 32026.09.01$407.0%
- 42026.09.28$86.5%
- 5max2026.09.04$405.5%
- 6max2026.09.29$83.0%
- 62026.07.24$203.0%
- 82026.10.07$0.402.5%
- 8high2026.09.30$82.5%

- 8max2026.09.02$3.502.5%
「作業ツール」はAIが課題を解くときに使った実行環境(エージェントプログラム)です。同じモデルでも作業ツールと推論の強さによってスコアが大きく変わることがあります。