ワシントン大学の研究者は、視覚情報と全身の協調動作で投げられた箱を受け止める人型ロボット向けの3段階システム「Reflex」を発表しました。論文は10月8日に公開され、10月12日にHugging Face Papersへ投稿されました。箱をキャッチするには、ロボットが全身を協調させ、箱の動きにリアルタイムで反応し、機体に搭載されたカメラの映像を読み取る必要があります。既存システムはこの課題の一部に取り組み、ロボットの先端部、モーションキャプチャー、または目印付きの物体に依存していました。

Reflexは能力を3段階で学習します。最初に、強化学習（試行結果をもとに行動を改善する学習法）で全身を使ったキャッチ動作を習得します。次に、遅れて届く不完全な観測から、動いている箱の運動特性を推定します。最後に、一人称RGB-D（カメラ映像から色と奥行きを捉える方式）のエンコーダーが視覚情報から箱の動きを推定し、全身制御器は固定したままにします。物体の運動特性を表す小規模な情報表現が各段階をつなぎます。研究者らによると、この分割によって各能力に直接的な学習信号を与えられ、視覚学習をより大規模に進めやすくなります。

シミュレーションでの箱のキャッチ成功率は、一人称RGB-Dを使った場合が85.7%、箱の状態を直接使える条件が87.9%でした。過去の視覚観測の履歴を取り除くと、成功率は正面から投げた場合に35.6ポイント、横にずらして投げた場合に39.8ポイント低下しました。実機のUnitree G1では、人が投げた箱を2.5 mで65%、5 mで40%の成功率でキャッチしました。この2つの距離での成功率は、それぞれ人間のキャッチ成功率の76%と59%でした。研究では、システムが組み合わせるよう設計された3つの能力を必要とする課題として、箱のキャッチを用いました。

ワシントン大学の研究者は、視覚情報と全身の協調動作で投げられた箱を受け止める人型ロボット向けの3段階システム「Reflex」を発表しました。論文は10月8日に公開され、10月12日にHugging Face Papersへ投稿されました。箱をキャッチするには、ロボットが全身を協調させ、箱の動きにリアルタイムで反応し、機体に搭載されたカメラの映像を読み取る必要があります。既存システムはこの課題の一部に取り組み、ロボットの先端部、モーションキャプチャー、または目印付きの物体に依存していました。

Reflexは能力を3段階で学習します。最初に、強化学習（試行結果をもとに行動を改善する学習法）で全身を使ったキャッチ動作を習得します。次に、遅れて届く不完全な観測から、動いている箱の運動特性を推定します。最後に、一人称RGB-D（カメラ映像から色と奥行きを捉える方式）のエンコーダーが視覚情報から箱の動きを推定し、全身制御器は固定したままにします。物体の運動特性を表す小規模な情報表現が各段階をつなぎます。研究者らによると、この分割によって各能力に直接的な学習信号を与えられ、視覚学習をより大規模に進めやすくなります。

シミュレーションでの箱のキャッチ成功率は、一人称RGB-Dを使った場合が85.7%、箱の状態を直接使える条件が87.9%でした。過去の視覚観測の履歴を取り除くと、成功率は正面から投げた場合に35.6ポイント、横にずらして投げた場合に39.8ポイント低下しました。実機のUnitree G1では、人が投げた箱を2.5 mで65%、5 mで40%の成功率でキャッチしました。この2つの距離での成功率は、それぞれ人間のキャッチ成功率の76%と59%でした。研究では、システムが組み合わせるよう設計された3つの能力を必要とする課題として、箱のキャッチを用いました。