연구진은 시각 정보와 스스로 작성한 프로그램을 이용해 양팔 로봇을 제어하는 코딩 에이전트 HexaShell을 발표했습니다. 논문은 10월 16일 공개됐고, 10월 19일 Hugging Face에 제출됐습니다. 연구진은 명령을 동작으로 바꾸는 소프트웨어 도구만 제공했을 때 비전·언어 모델 기반 에이전트가 로봇 조작을 얼마나 수행할 수 있는지 평가했습니다. 연구에는 중간 추론 강도의 Codex와 GPT-6-Astra를 사용했습니다.

로봇은 보정된 RGB 카메라 3대로 작업 공간을 보고, 명령줄 하나를 통해 지시를 받습니다. 시도가 실패하면 에이전트는 기록을 읽어 원인을 찾고, 도구라 불리는 작은 프로그램을 작성하거나 고칩니다. 도구는 로봇의 관측 정보만 활용할 수 있습니다. 도구는 삼각측량(교차하는 시선으로 위치를 찾는 방법)으로 물체와 로봇 팔의 집게 위치를 파악합니다. 머리 쪽 카메라 정보가 부족하면 손목 카메라를 움직여 다른 시야를 확보합니다.

연구진은 과제별로 하나의 시드에 해당하는 배치 10개에서 도구를 개발한 뒤, 도구를 고정하고 같은 시드의 새 배치 10개에서 시험했습니다. RoboDojo의 42개 과제 전체에서 HexaShell은 성공률 39.7%, 진행도 점수 48.0을 기록했습니다. 순위표 산정 방식으로 평균을 낸 결과이며, 저자들은 RoboDojo에서 최고 성능이라고 보고했습니다. 과제별 성공률은 밀기 92.5%, 기억 과제 65.0%, 좁은 틈에 끼워 넣기 8.3%였습니다. 저자들은 주된 한계가 추론보다 접촉이 많은 동작에 있다고 설명했습니다. 에이전트는 대체로 실패 원인을 알아내지만, 동작을 성공시키지는 못합니다. 연구진은 지금까지 개발한 도구를 공개했습니다.

연구진은 시각 정보와 스스로 작성한 프로그램을 이용해 양팔 로봇을 제어하는 코딩 에이전트 HexaShell을 발표했습니다. 논문은 10월 16일 공개됐고, 10월 19일 Hugging Face에 제출됐습니다. 연구진은 명령을 동작으로 바꾸는 소프트웨어 도구만 제공했을 때 비전·언어 모델 기반 에이전트가 로봇 조작을 얼마나 수행할 수 있는지 평가했습니다. 연구에는 중간 추론 강도의 Codex와 GPT-6-Astra를 사용했습니다.

로봇은 보정된 RGB 카메라 3대로 작업 공간을 보고, 명령줄 하나를 통해 지시를 받습니다. 시도가 실패하면 에이전트는 기록을 읽어 원인을 찾고, 도구라 불리는 작은 프로그램을 작성하거나 고칩니다. 도구는 로봇의 관측 정보만 활용할 수 있습니다. 도구는 삼각측량(교차하는 시선으로 위치를 찾는 방법)으로 물체와 로봇 팔의 집게 위치를 파악합니다. 머리 쪽 카메라 정보가 부족하면 손목 카메라를 움직여 다른 시야를 확보합니다.

연구진은 과제별로 하나의 시드에 해당하는 배치 10개에서 도구를 개발한 뒤, 도구를 고정하고 같은 시드의 새 배치 10개에서 시험했습니다. RoboDojo의 42개 과제 전체에서 HexaShell은 성공률 39.7%, 진행도 점수 48.0을 기록했습니다. 순위표 산정 방식으로 평균을 낸 결과이며, 저자들은 RoboDojo에서 최고 성능이라고 보고했습니다. 과제별 성공률은 밀기 92.5%, 기억 과제 65.0%, 좁은 틈에 끼워 넣기 8.3%였습니다. 저자들은 주된 한계가 추론보다 접촉이 많은 동작에 있다고 설명했습니다. 에이전트는 대체로 실패 원인을 알아내지만, 동작을 성공시키지는 못합니다. 연구진은 지금까지 개발한 도구를 공개했습니다.