研究チームは、視覚情報を使い、自ら書いたプログラムで双腕ロボットを操作するコーディングエージェントHexaShellを発表しました。論文は10月16日に公開され、10月19日にHugging Faceへ提出されました。ソフトウェアの仕組みが指令を動作に変換するだけの場合、視覚と言語を扱うモデルがどこまでロボット操作を実行できるかを評価しています。チームはCodexとGPT-6-Astraを中程度の推論設定で使用しました。

ロボットは、位置を調整したRGBカメラ3台で作業空間を捉え、単一のコマンドラインから指令を受けます。試行に失敗すると、エージェントはログを読み、原因を特定して、小さなプログラム「ツール」を作成または修正します。ツールが使えるのはロボットの観測情報だけです。三角測量（複数の視線の交点から位置を求める方法）で物体同士や物体とグリッパーの位置関係を推定します。頭部カメラの情報が足りない場合は、手首のカメラを動かして別の視点を得ます。

研究者は、各タスクにつき1つのシードから作った10種類の配置でツールを開発して固定し、同じシードの新たな10種類の配置で評価しました。RoboDojoの全42タスクで、HexaShellの成功率は39.7%、進捗スコアは48.0でした。進捗スコアはリーダーボードの方式で平均され、著者らはこの結果をRoboDojoで最高水準と報告しています。タスク別では、押し動作が92.5%、記憶タスクが65.0%、狭い場所への挿入が8.3%でした。

著者らによると、主な限界は推論よりも、物体との接触を伴う動作にあります。エージェントは失敗の認識には成功することが多いものの、動作を成立させられないといいます。チームは、これまでに開発したツールをオープンソースで公開しました。

研究チームは、視覚情報を使い、自ら書いたプログラムで双腕ロボットを操作するコーディングエージェントHexaShellを発表しました。論文は10月16日に公開され、10月19日にHugging Faceへ提出されました。ソフトウェアの仕組みが指令を動作に変換するだけの場合、視覚と言語を扱うモデルがどこまでロボット操作を実行できるかを評価しています。チームはCodexとGPT-6-Astraを中程度の推論設定で使用しました。

ロボットは、位置を調整したRGBカメラ3台で作業空間を捉え、単一のコマンドラインから指令を受けます。試行に失敗すると、エージェントはログを読み、原因を特定して、小さなプログラム「ツール」を作成または修正します。ツールが使えるのはロボットの観測情報だけです。三角測量（複数の視線の交点から位置を求める方法）で物体同士や物体とグリッパーの位置関係を推定します。頭部カメラの情報が足りない場合は、手首のカメラを動かして別の視点を得ます。

研究者は、各タスクにつき1つのシードから作った10種類の配置でツールを開発して固定し、同じシードの新たな10種類の配置で評価しました。RoboDojoの全42タスクで、HexaShellの成功率は39.7%、進捗スコアは48.0でした。進捗スコアはリーダーボードの方式で平均され、著者らはこの結果をRoboDojoで最高水準と報告しています。タスク別では、押し動作が92.5%、記憶タスクが65.0%、狭い場所への挿入が8.3%でした。

著者らによると、主な限界は推論よりも、物体との接触を伴う動作にあります。エージェントは失敗の認識には成功することが多いものの、動作を成立させられないといいます。チームは、これまでに開発したツールをオープンソースで公開しました。