S-Agent 2.0、空間推論に記憶を追加

研究チームは、3D知覚ツールを備えた汎用コーディングエージェントに、持続的なシーン記憶と言語解釈を加えた空間推論エージェント「S-Agent 2.0」を発表しました。論文は10月20日に公開され、10月21日にHugging Faceへ提出されました。空間推論とは、物体が3D空間のどこにあり、互いにどう関係し、どう動くかをモデルが特定する能力です。

著者らによると、既存のエージェント型視覚言語モデルは3D知覚ツールで証拠を集めても、正しいツールの読み取りを正答につなげられない場合があります。S-Agent 2.0はコマンドラインの知覚ツールキットと持続的なシーン記憶を使い、シーンの証拠を取得して保持し、各読み取りを空間に関する言葉で解釈します。著者らは、各読み取りをツールの幾何情報に基づかせながら、エージェントの柔軟性を保つと説明しています。

MMSI-BenchとReVSIでは、ツールキットを使うことで、ツールなしの同じエージェントと比べてQwen3.8-27Bのスコアがそれぞれ13.9点、20.5点上がりました。Gemini-3.8-Flashでは11.2点、9.6点の上昇でした。Qwen3.8-27Bを使ったS-Agent 2.0のスコアはMMSI-Benchで66.5、ReVSIで82.3となり、同じ基盤モデルを使うSpatialClawの62.6、74.5を上回りました。Gemini-3.8-Flashでは74.1、90.5を記録し、SpatialClawの67.0、79.7と比べて高い結果でした。

論文によると、基盤モデルの能力が高まるほど、ツールによるスコア上昇幅は小さくなります。ReVSIではSpatialClawの上昇幅が13.2点から2.7点に縮小した一方、S-Agent 2.0は9.6点を維持しました。このシステムはCodexやClaude Codeを含む汎用コーディングエージェント環境でも動作します。

研究チームは、3D知覚ツールを備えた汎用コーディングエージェントに、持続的なシーン記憶と言語解釈を加えた空間推論エージェント「S-Agent 2.0」を発表しました。論文は10月20日に公開され、10月21日にHugging Faceへ提出されました。空間推論とは、物体が3D空間のどこにあり、互いにどう関係し、どう動くかをモデルが特定する能力です。

著者らによると、既存のエージェント型視覚言語モデルは3D知覚ツールで証拠を集めても、正しいツールの読み取りを正答につなげられない場合があります。S-Agent 2.0はコマンドラインの知覚ツールキットと持続的なシーン記憶を使い、シーンの証拠を取得して保持し、各読み取りを空間に関する言葉で解釈します。著者らは、各読み取りをツールの幾何情報に基づかせながら、エージェントの柔軟性を保つと説明しています。

MMSI-BenchとReVSIでは、ツールキットを使うことで、ツールなしの同じエージェントと比べてQwen3.8-27Bのスコアがそれぞれ13.9点、20.5点上がりました。Gemini-3.8-Flashでは11.2点、9.6点の上昇でした。Qwen3.8-27Bを使ったS-Agent 2.0のスコアはMMSI-Benchで66.5、ReVSIで82.3となり、同じ基盤モデルを使うSpatialClawの62.6、74.5を上回りました。Gemini-3.8-Flashでは74.1、90.5を記録し、SpatialClawの67.0、79.7と比べて高い結果でした。

論文によると、基盤モデルの能力が高まるほど、ツールによるスコア上昇幅は小さくなります。ReVSIではSpatialClawの上昇幅が13.2点から2.7点に縮小した一方、S-Agent 2.0は9.6点を維持しました。このシステムはCodexやClaude Codeを含む汎用コーディングエージェント環境でも動作します。