StateM、エージェント実行精度を改善
- •StateMはTerminal-Bench 2.1の445試行で生精度95.3%に到達した
- •Harness scalingによりGPT-5.5 xhighは83.1%基準を上回る92.1%へ上昇した
- •BusinessBenchの手順書は保留評価で0.55マクロ、1.34マイクロの改善を加えた
Ziheng Qin、Yaxin Lu、Zhangyang Atlas Wang、Kai WangはAug 15、長期実行型エージェント向けランタイムシステムStateMを発表した。論文はKai WangによりAug 18にHugging Faceへ投稿された。StateMはモデル重みを変えず、モデル周辺のハーネスをスケールさせることでエージェント実行の改善を狙う。永続状態、フェーズごとの局所コンテキスト、検査済み遷移、復旧可能な手順書、エージェントとユーザーが共同で確認できるバージョン管理された手続き上の実践を使う。
論文によると、長期実行型エージェントは、モデルが個別ステップを解ける場合でも失敗し得る。可変状態を失う、過去の実行から得た教訓を再利用しない、既知の手順を飛ばす、早く停止しすぎる、といった問題があるためだ。StateMは選ばれた事後検証の知見を、永続的かつ実行可能な前提条件と実践に変換し、状態を持つ制御によって学習済みの管理策を明示する。
Terminal-Bench 2.1では、StateMがGPT-5.5 xhighを83.1%の基準から92.1%へ引き上げ、91.9%のGPT-5.6 Sol Ultraを上回った。同じ手順書は変更なしでGPT-5.6にも移行できる。GPT-5.6 Sol xhighでは、StateMは445試行で95.3%の生精度に到達し、89タスクすべてで少なくとも1回成功した。固定プロファイルはGPT-5.6 Lunaを76.7から85.4%へ高め、84.9%のSol xhigh基準を上回った。
同じランタイム、手順書構造、ゴールデンルールを使うと、38未満の適応でDeepSeek-V4 Flashは標準タイムアウト下で82.7から88.1%へ、88タスクの共通コアでは89.1%へ上昇した。残るレイテンシー敏感タスクだけを延長すると、報告済みの88.8% GPT-5.6 Sol max結果と並んだ。最終スコアのAPI使用量はGPT基準の574.68に対して約15で、DeepSeekの総支出は52.22だった。
BusinessBenchでは、開発セット上で構築したファミリー別手順書が保留評価で0.55マクロポイント、1.34マイクロポイントの改善を生んだ。メカニズムが一致する2ファミリーでは10.04ポイント改善した。著者らは、タスクが実行構造を共有する場合、具体的なルールは一般化すると述べた。コードはgithub.com/henryqin1997/statemで公開されている。
最も速く正確なAIニュースをメールでいかがですか?