Terminal-Bench-Science 0.1

何を測定しますか？

現役の科学者が出した研究課題で、AIエージェントがターミナルで信号の復元・モデルの較正・証明といった実際の研究作業をこなせるかを見ます。

誰がどのように評価しますか？

生命・物理・地球・数学・工学の5分野70課題を、課題を出した人が書いた検証テストで合否だけ判定します(部分点なし)。Vals AIが全モデルを同じハーネスで1回ずつ、1課題8時間まで実行します。

スコアの読み方

スコアは0〜100%です。高いほど良い結果です。メーカーが自社エージェントで3回実行した公式の数値とは比較できず、たいてい低めに出ます。まだ0.1版です。