AIエージェントの動的環境対応ベンチマーク「EvoArena」公開
HuggingFace2026年6月13日 (土)
- •研究チームは、動的で変化し続ける環境下でAIエージェントを評価するベンチマークスイート「EvoArena」を発表した。
- •現在のエージェントはEvoArena（ターミナル、ソフトウェア、社会ドメイン）において、平均正解率39.6%にとどまる。
- •提案されたメモリ管理手法「EvoMem」により、EvoArenaの性能は1.5%、チェインレベルの精度は3.7%向上した。
マサチューセッツ工科大学の研究チームは2026年6月11日、従来のAIエージェント評価が静的環境のみを前提としている課題に対処するため、EvoArenaとEvoMemを発表した。既存の大規模言語モデルエージェントは固定設定下では高い性能を示すが、現実世界での展開には状況変化への継続的な適応が不可欠である。EvoArenaはターミナル操作、ソフトウェア環境、社会選好という3つのドメインを通じて環境の変化をモデル化する新たなベンチマークであり、現在のモデルにおける平均正解率は39.6%にとどまっている。
この動的な環境下での性能向上を目的として、研究チームはパッチベースのメモリパラダイムであるEvoMemを提案した。EvoMemはメモリの進化を構造化された更新履歴として記録し、エージェントがメモリ内の変更を追跡することで環境変化を推論可能にする。実験の結果、EvoMemはEvoArena全体で平均1.5%の性能向上を実現した。また、既存のベンチマークであるGAIAで6.1%、LoCoMoで4.8%の精度向上も確認されている。
さらに、関連するサブタスクが連続するシナリオにおいて、EvoMemはチェインレベルの精度を3.7%改善した。メカニズム分析によると、EvoMemは証拠の捕捉を改善し、進化する環境内での完全な状態維持を促進している。これらの知見は、AIエージェントの信頼性を確保するために、評価プロトコルとメモリ管理システムの両方に進化型モデリングを組み込む重要性を示唆している。