Artificial Analysisは2026年10月14日、最先端の言語モデルが物理世界を理解し、計画し、行動する能力を測る研究プレビュー「AA-Robotics v0.1」を公開しました。評価では、5つの関節とグリッパーを備えた6軸ロボットアームに簡単な目標を与え、初回版では卓上作業8種類を試します。同社は、モデルの能力が向上するにつれて、言語モデルのロボット性能を追跡することが重要になるとしていますが、モデル単独では実運用のロボット制御には適さないと説明しています。

8種類の作業では、制御の器用さ、空間認識、適応力を調べます。ボタンを押す、ワニのおもちゃを長方形の中に置く、飲み物をこぼさず注ぐ、ブロック4個を詰める、形を合わせる、「hello world」と書く、自立する最も高い塔を作る、箱の寸法を2ミリ以内の誤差で測る、といった課題があります。モデルはコード作成・実行用の環境で動き、隔離されたコンテナ内で4つのカメラ映像と簡易HTTP APIを使い、Hiwonder NexArmを操作します。短い指示を受けて各試行を審査に提出し、完了は100点、部分的な結果は1〜99点、失敗は0点です。事前に課題別の例を与えないゼロショット方式で試行します。

平均点はGPT-6 Astraが100点満点中69.4点で首位となり、GPT-6.1 Solが64.6点、Gemini 4 Argonが55.3点、Claude Opus 5.5が48.8点、Claude Fable 5.1が46.3点でした。費用比較ではAstraとSolの点数をそれぞれ69点、65点に丸めて示しています。Astraの作業1回当たり費用は16.36ドルで、Solの1.93ドルの8倍超に当たり、点差は4点でした。同社によると、モデル利用費の70％は入力コンテキストに使われており、視覚情報の処理を反映しています。

モデルの作業時間は平均約30分で、人間の平均20秒と比べて約100倍遅いと同社は説明しています。Gemini 4 Argonは1作業当たり52分かかりました。個別の試行では、GPT-6 Astraは赤いボタンを2.2分で押した一方、Claude Fable 5.1は行動に移る前に約10分間観察と計画を続けました。ワニのおもちゃを置く課題では、GPT-6.1 Solが5分で完了を宣言し、Claude Opus 5.5は45分かかりました。Gemini 4 Argonは最初の行動まで平均21分間、観察と推論を続け、他のどのモデルよりもほぼ2倍長くかかりました。最も費用効率の高いモデルでも、米国の平均時給で計算した人件費のおよそ10倍の費用がかかりました。人間の費用計算には、米国の民間非農業部門の従業員の2026年9月の速報平均時給37.81ドルを使っています。

物体を持ち上げる6課題での把持成功率には差がありました。GPT-6 Astraは約45％、Claude Fable 5.1は44％で最も高く、Claude Opus 5.5は40％、Gemini 4 Argonは36％、GPT-6.1 Solは28％でした。対象物を持ち上げたり運んだりする間、意図した物体を保持できた場合を成功と数えています。誤りの例には、正しい位置に置いた後も調整を続ける、完了したかどうかを誤って判断する、物体を落とす・押す、何もつかめない、または狙いを外してつかむことが含まれます。同社によると、モデルは合格状態に達した後も試行を修正することがあります。GPT-6.1 Solは約17分で合格点の塔を作った後、さらに作業を続けて失敗しました。物理空間で作業完了を判断する能力がどう向上するかは、今後の課題だと同社は述べています。

Artificial Analysisは2026年10月14日、最先端の言語モデルが物理世界を理解し、計画し、行動する能力を測る研究プレビュー「AA-Robotics v0.1」を公開しました。評価では、5つの関節とグリッパーを備えた6軸ロボットアームに簡単な目標を与え、初回版では卓上作業8種類を試します。同社は、モデルの能力が向上するにつれて、言語モデルのロボット性能を追跡することが重要になるとしていますが、モデル単独では実運用のロボット制御には適さないと説明しています。

8種類の作業では、制御の器用さ、空間認識、適応力を調べます。ボタンを押す、ワニのおもちゃを長方形の中に置く、飲み物をこぼさず注ぐ、ブロック4個を詰める、形を合わせる、「hello world」と書く、自立する最も高い塔を作る、箱の寸法を2ミリ以内の誤差で測る、といった課題があります。モデルはコード作成・実行用の環境で動き、隔離されたコンテナ内で4つのカメラ映像と簡易HTTP APIを使い、Hiwonder NexArmを操作します。短い指示を受けて各試行を審査に提出し、完了は100点、部分的な結果は1〜99点、失敗は0点です。事前に課題別の例を与えないゼロショット方式で試行します。

平均点はGPT-6 Astraが100点満点中69.4点で首位となり、GPT-6.1 Solが64.6点、Gemini 4 Argonが55.3点、Claude Opus 5.5が48.8点、Claude Fable 5.1が46.3点でした。費用比較ではAstraとSolの点数をそれぞれ69点、65点に丸めて示しています。Astraの作業1回当たり費用は16.36ドルで、Solの1.93ドルの8倍超に当たり、点差は4点でした。同社によると、モデル利用費の70％は入力コンテキストに使われており、視覚情報の処理を反映しています。

モデルの作業時間は平均約30分で、人間の平均20秒と比べて約100倍遅いと同社は説明しています。Gemini 4 Argonは1作業当たり52分かかりました。個別の試行では、GPT-6 Astraは赤いボタンを2.2分で押した一方、Claude Fable 5.1は行動に移る前に約10分間観察と計画を続けました。ワニのおもちゃを置く課題では、GPT-6.1 Solが5分で完了を宣言し、Claude Opus 5.5は45分かかりました。Gemini 4 Argonは最初の行動まで平均21分間、観察と推論を続け、他のどのモデルよりもほぼ2倍長くかかりました。最も費用効率の高いモデルでも、米国の平均時給で計算した人件費のおよそ10倍の費用がかかりました。人間の費用計算には、米国の民間非農業部門の従業員の2026年9月の速報平均時給37.81ドルを使っています。

物体を持ち上げる6課題での把持成功率には差がありました。GPT-6 Astraは約45％、Claude Fable 5.1は44％で最も高く、Claude Opus 5.5は40％、Gemini 4 Argonは36％、GPT-6.1 Solは28％でした。対象物を持ち上げたり運んだりする間、意図した物体を保持できた場合を成功と数えています。誤りの例には、正しい位置に置いた後も調整を続ける、完了したかどうかを誤って判断する、物体を落とす・押す、何もつかめない、または狙いを外してつかむことが含まれます。同社によると、モデルは合格状態に達した後も試行を修正することがあります。GPT-6.1 Solは約17分で合格点の塔を作った後、さらに作業を続けて失敗しました。物理空間で作業完了を判断する能力がどう向上するかは、今後の課題だと同社は述べています。