Artificial Analysis가 2026년 10월 14일, 최첨단 언어 모델이 물리적 세계를 이해하고 계획하며 행동하는 능력을 시험하는 연구 프리뷰 AA-Robotics v0.1을 공개했습니다. 첫 버전은 탁상 작업 8개를 평가합니다. 각 모델에는 관절 5개와 집게가 달린 6축 로봇 팔과 간단한 목표가 주어집니다. 회사는 모델이 발전하면 언어 모델의 로봇 수행 능력을 추적하는 일이 중요해질 것으로 본다고 밝혔지만, 모델만으로 실제 운영용 로봇을 구현하기에는 적합하지 않다고 설명했습니다.

8개 작업은 버튼 누르기, 장난감 악어를 사각형 안에 넣기, 음료를 흘리지 않고 따르기, 블록 4개 포장하기, 모양 맞추기, “hello world” 쓰기, 가장 높은 독립형 탑 쌓기, 상자의 치수를 2mm 이내로 측정하기 등입니다. 모델은 코드를 작성하고 실행하는 소프트웨어 환경인 코딩 에이전트 하네스에서 격리된 컨테이너를 사용해 작동하며, 카메라 화면 4개와 간단한 HTTP API로 Hiwonder NexArm을 제어합니다. 모델에는 짧은 지시가 제공되고, 시도 결과를 제출해 검토받아야 합니다. 과제를 완료하면 100점, 일부만 수행하면 1~99점, 실패하면 0점을 받습니다. 모든 시도는 사전 과제 예시 없이 진행되는 제로샷 방식입니다.

평균 점수는 GPT-6 Astra가 100점 만점에 69.4점으로 1위였고, GPT-6.1 Sol 64.6점, Gemini 4 Argon 55.3점, Claude Opus 5.5 48.8점, Claude Fable 5.1 46.3점 순이었습니다. 비용 비교에서 Artificial Analysis는 Astra와 Sol의 점수를 반올림해 각각 69점과 65점으로 제시했습니다. Astra는 작업당 평균 16.36달러로 Sol의 1.93달러보다 8배 넘게 비쌌으며, 점수 차이는 4점이었습니다. 회사는 시각 정보를 처리하는 데 드는 비용을 반영해 모델 지출의 70%가 입력 문맥에 쓰였다고 밝혔습니다.

모델은 작업당 평균 약 30분이 걸렸고, 사람은 평균 20초가 걸렸습니다. Gemini 4 Argon은 작업당 52분을 기록했습니다. 회사는 모델의 작업 시간이 사람보다 대략 100배 느리다고 설명했습니다. 개별 실행 시간은 달랐습니다. GPT-6 Astra는 빨간 버튼을 2.2분 만에 눌렀지만, Claude Fable 5.1은 행동에 나서기 전 관찰과 계획에 약 10분을 썼습니다. 악어를 놓는 작업에서 GPT-6.1 Sol은 5분 만에 완료했다고 판단했고, Claude Opus 5.5는 45분이 걸렸습니다. Gemini 4 Argon은 첫 행동에 앞서 평균 21분 동안 관찰하고 추론했으며, 이는 다른 모델보다 거의 2배 긴 시간이었습니다. 가장 비용 효율적인 모델도 미국 평균 시급을 받는 사람보다 약 10배 많은 비용이 들었습니다. 사람의 비용은 미국 민간 비농업 임금 근로자의 2026년 9월 잠정 평균 시급인 37.81달러를 기준으로 산정했습니다.

물체 집기가 포함된 6개 작업에서 잡기 성공률은 달랐습니다. GPT-6 Astra가 약 45%, Claude Fable 5.1이 44%로 가장 높았고, Gemini 4 Argon은 36%, Claude Opus 5.5는 40%, GPT-6.1 Sol은 28%를 기록했습니다. 들어 올리거나 옮기는 동안 목표 물체를 잡은 상태로 유지하면 성공으로 집계했습니다. 오류 사례로는 이미 올바르게 놓은 물체를 계속 조정하기, 과제 완료 여부를 잘못 판단하기, 물체를 떨어뜨리거나 밀기, 물체를 잡지 못하거나 엉뚱한 곳을 잡기가 제시됐습니다. Artificial Analysis는 모델들이 통과 기준을 충족한 뒤에도 시도를 계속 다듬는 경우가 많다고 밝혔습니다. GPT-6.1 Sol은 약 17분 만에 통과 점수에 해당하는 탑을 쌓았지만 이후 시도에서 과제에 실패했습니다. 회사는 물리적 공간에서 과제 완료 여부를 판단하는 능력이 어떻게 향상될지는 아직 지켜봐야 한다고 말했습니다.

Artificial Analysis가 2026년 10월 14일, 최첨단 언어 모델이 물리적 세계를 이해하고 계획하며 행동하는 능력을 시험하는 연구 프리뷰 AA-Robotics v0.1을 공개했습니다. 첫 버전은 탁상 작업 8개를 평가합니다. 각 모델에는 관절 5개와 집게가 달린 6축 로봇 팔과 간단한 목표가 주어집니다. 회사는 모델이 발전하면 언어 모델의 로봇 수행 능력을 추적하는 일이 중요해질 것으로 본다고 밝혔지만, 모델만으로 실제 운영용 로봇을 구현하기에는 적합하지 않다고 설명했습니다.

8개 작업은 버튼 누르기, 장난감 악어를 사각형 안에 넣기, 음료를 흘리지 않고 따르기, 블록 4개 포장하기, 모양 맞추기, “hello world” 쓰기, 가장 높은 독립형 탑 쌓기, 상자의 치수를 2mm 이내로 측정하기 등입니다. 모델은 코드를 작성하고 실행하는 소프트웨어 환경인 코딩 에이전트 하네스에서 격리된 컨테이너를 사용해 작동하며, 카메라 화면 4개와 간단한 HTTP API로 Hiwonder NexArm을 제어합니다. 모델에는 짧은 지시가 제공되고, 시도 결과를 제출해 검토받아야 합니다. 과제를 완료하면 100점, 일부만 수행하면 1~99점, 실패하면 0점을 받습니다. 모든 시도는 사전 과제 예시 없이 진행되는 제로샷 방식입니다.

평균 점수는 GPT-6 Astra가 100점 만점에 69.4점으로 1위였고, GPT-6.1 Sol 64.6점, Gemini 4 Argon 55.3점, Claude Opus 5.5 48.8점, Claude Fable 5.1 46.3점 순이었습니다. 비용 비교에서 Artificial Analysis는 Astra와 Sol의 점수를 반올림해 각각 69점과 65점으로 제시했습니다. Astra는 작업당 평균 16.36달러로 Sol의 1.93달러보다 8배 넘게 비쌌으며, 점수 차이는 4점이었습니다. 회사는 시각 정보를 처리하는 데 드는 비용을 반영해 모델 지출의 70%가 입력 문맥에 쓰였다고 밝혔습니다.

모델은 작업당 평균 약 30분이 걸렸고, 사람은 평균 20초가 걸렸습니다. Gemini 4 Argon은 작업당 52분을 기록했습니다. 회사는 모델의 작업 시간이 사람보다 대략 100배 느리다고 설명했습니다. 개별 실행 시간은 달랐습니다. GPT-6 Astra는 빨간 버튼을 2.2분 만에 눌렀지만, Claude Fable 5.1은 행동에 나서기 전 관찰과 계획에 약 10분을 썼습니다. 악어를 놓는 작업에서 GPT-6.1 Sol은 5분 만에 완료했다고 판단했고, Claude Opus 5.5는 45분이 걸렸습니다. Gemini 4 Argon은 첫 행동에 앞서 평균 21분 동안 관찰하고 추론했으며, 이는 다른 모델보다 거의 2배 긴 시간이었습니다. 가장 비용 효율적인 모델도 미국 평균 시급을 받는 사람보다 약 10배 많은 비용이 들었습니다. 사람의 비용은 미국 민간 비농업 임금 근로자의 2026년 9월 잠정 평균 시급인 37.81달러를 기준으로 산정했습니다.

물체 집기가 포함된 6개 작업에서 잡기 성공률은 달랐습니다. GPT-6 Astra가 약 45%, Claude Fable 5.1이 44%로 가장 높았고, Gemini 4 Argon은 36%, Claude Opus 5.5는 40%, GPT-6.1 Sol은 28%를 기록했습니다. 들어 올리거나 옮기는 동안 목표 물체를 잡은 상태로 유지하면 성공으로 집계했습니다. 오류 사례로는 이미 올바르게 놓은 물체를 계속 조정하기, 과제 완료 여부를 잘못 판단하기, 물체를 떨어뜨리거나 밀기, 물체를 잡지 못하거나 엉뚱한 곳을 잡기가 제시됐습니다. Artificial Analysis는 모델들이 통과 기준을 충족한 뒤에도 시도를 계속 다듬는 경우가 많다고 밝혔습니다. GPT-6.1 Sol은 약 17분 만에 통과 점수에 해당하는 탑을 쌓았지만 이후 시도에서 과제에 실패했습니다. 회사는 물리적 공간에서 과제 완료 여부를 판단하는 능력이 어떻게 향상될지는 아직 지켜봐야 한다고 말했습니다.