Ai2, 토이블록스 로봇 시뮬레이션 공개

Ai2는 2026년 11월 6일 첫 파운데이션월드인 토이블록스를 공개했습니다. 로봇 학습을 연구하기 위한 통제형 시뮬레이션 프레임워크입니다. 가상 로봇 팔과 블록을 탁자 위에 두고 과제와 훈련 시연을 생성하며, 훈련 데이터를 바꾸고 로봇의 행동을 측정할 수 있습니다. 반복 가능한 실험을 통해 로봇이 성공하거나 실패한 이유를 추적하는 것이 목표입니다.

토이블록스는 현실적인 물리 법칙과 외관, 대규모 자동 과제·시연 생성, 추론과 손재주가 함께 필요한 과제, 제한된 영역 안에서의 폭넓은 시험을 결합합니다. 블록에는 그림과 글자가 있어 찾기·분류·배열 과제를 만들 수 있으며, 로봇이 숨겨진 면을 확인하도록 블록을 뒤집어야 할 수도 있습니다. 장면마다 물리적 특성을 바꾸는 도메인 무작위화로 블록 크기와 탁자 높이 등을 조정해 일반화 능력을 시험합니다.

이 프레임워크는 사람이 원격으로 로봇을 조종하지 않아도 짧은 과제의 기술과 시연을 생성합니다. 강화학습과 동작 계획을 이용해 블록을 집지 않고 밀거나 뒤집는 기술을 만듭니다. 훈련에는 엔비디아의 오픈소스 로봇 학습 시뮬레이션 프레임워크인 아이작 랩을 사용합니다. 시뮬레이터는 블록의 정확한 위치와 방향처럼 실제 로봇이라면 카메라 영상으로 추정해야 할 정보도 제공할 수 있습니다. 과제·동작 계획기는 기술의 순서를 정하고 움직임을 계획하며, 시뮬레이션에서 계획을 실행하면 과제나 기술별 시연과 라벨이 기록됩니다. 토이블록스는 GPU 하나에서 계획 수백 개를 병렬 실행해 실시간보다 최대 24배 빠른 성능을 냅니다.

연구자는 특정 기술에 집중하거나 데이터셋의 빈틈을 채우는 훈련 데이터 조합을 만들고, 훈련에서 제외한 과제로 성능을 시험할 수 있습니다. 회전 및 집어 옮기기 시연이 뒤집기 능력을 높이는지, 작업 공간 안팎의 사례가 어떤 차이를 보이는지도 살펴볼 수 있습니다. 평가는 성공률뿐 아니라 실행 속도, 물체에 가해진 힘, 과제 진행도도 보고합니다. 웹 인터페이스에서는 클로드나 다른 최첨단 모델을 연결해 로봇에 자연어로 지시할 수 있습니다.

Ai2는 토이블록스로 기술 순서, 글자나 색상, 블록 수, 작업 공간 위치가 달라질 때 행동 모델이 얼마나 일반화하는지 시험했습니다. 연구는 훈련 범위 안의 보간과 범위를 넘어서는 외삽을 구분합니다. 예를 들어 블록 2개와 5개를 쌓도록 훈련한 뒤 3개와 4개 쌓기를 시험합니다. 초기 결과에서 마니플로, 파이제로점오, 몰모액트 2는 대규모 사전 훈련에도 일반화 성능이 낮았습니다. 연구팀은 성능을 개선하고 각 기법의 기여를 분석하고 있지만, 문제는 아직 해결되지 않았다고 밝혔습니다.

더 긴 과제에서는 오라클이라는 기준 구성 요소가 올바른 계획이나 행동을 제공해 고수준 계획의 실패와 저수준 실행의 실패를 구분하도록 돕습니다. 블록으로 단어를 만드는 과제에서는 몰모 2가 기술과 블록을 고르고 마니플로가 지시를 실행합니다. 연구팀은 클로드 오푸스 5.5를 이용한 에이전트 시스템도 시험했습니다. 고전 계획 과제에서 시스템은 텍스트 설명만으로 쌓기 과제 30개 중 30개를 해결했고, 카메라 관찰과 행동 선택을 반복하는 방식에서도 30개 중 30개를 풀었습니다.

검색·철자 시험에서는 최대 8개 블록에서 글자를 찾아야 했으며, 장면의 50%에는 필요한 글자가 하나 이상 없었습니다. 시스템은 과제의 63%를 해결하거나 불가능하다고 정확히 판정했습니다. 오류 사례 중 13%는 모양이 비슷한 글자를 혼동했고, 15%는 글자의 방향을 잘못 골랐습니다. 블록의 의미 패턴은 숨겨진 면을 추론하고 일부 불가능한 장면을 더 빨리 판정하는 데 도움이 됐습니다.

추가 실험에서 Ai2는 에이전트에게 기술이 어떻게 작동하는지 살펴보도록 했습니다. 기술이 예상과 다르게 움직이면 에이전트가 가설을 세우고 작은 시험을 설계한 뒤, 결과를 바탕으로 이해를 수정하는 방식입니다. 제공된 요약은 이 실험을 설명하던 중 끝납니다.

Ai2는 2026년 11월 6일 첫 파운데이션월드인 토이블록스를 공개했습니다. 로봇 학습을 연구하기 위한 통제형 시뮬레이션 프레임워크입니다. 가상 로봇 팔과 블록을 탁자 위에 두고 과제와 훈련 시연을 생성하며, 훈련 데이터를 바꾸고 로봇의 행동을 측정할 수 있습니다. 반복 가능한 실험을 통해 로봇이 성공하거나 실패한 이유를 추적하는 것이 목표입니다.

토이블록스는 현실적인 물리 법칙과 외관, 대규모 자동 과제·시연 생성, 추론과 손재주가 함께 필요한 과제, 제한된 영역 안에서의 폭넓은 시험을 결합합니다. 블록에는 그림과 글자가 있어 찾기·분류·배열 과제를 만들 수 있으며, 로봇이 숨겨진 면을 확인하도록 블록을 뒤집어야 할 수도 있습니다. 장면마다 물리적 특성을 바꾸는 도메인 무작위화로 블록 크기와 탁자 높이 등을 조정해 일반화 능력을 시험합니다.

이 프레임워크는 사람이 원격으로 로봇을 조종하지 않아도 짧은 과제의 기술과 시연을 생성합니다. 강화학습과 동작 계획을 이용해 블록을 집지 않고 밀거나 뒤집는 기술을 만듭니다. 훈련에는 엔비디아의 오픈소스 로봇 학습 시뮬레이션 프레임워크인 아이작 랩을 사용합니다. 시뮬레이터는 블록의 정확한 위치와 방향처럼 실제 로봇이라면 카메라 영상으로 추정해야 할 정보도 제공할 수 있습니다. 과제·동작 계획기는 기술의 순서를 정하고 움직임을 계획하며, 시뮬레이션에서 계획을 실행하면 과제나 기술별 시연과 라벨이 기록됩니다. 토이블록스는 GPU 하나에서 계획 수백 개를 병렬 실행해 실시간보다 최대 24배 빠른 성능을 냅니다.

연구자는 특정 기술에 집중하거나 데이터셋의 빈틈을 채우는 훈련 데이터 조합을 만들고, 훈련에서 제외한 과제로 성능을 시험할 수 있습니다. 회전 및 집어 옮기기 시연이 뒤집기 능력을 높이는지, 작업 공간 안팎의 사례가 어떤 차이를 보이는지도 살펴볼 수 있습니다. 평가는 성공률뿐 아니라 실행 속도, 물체에 가해진 힘, 과제 진행도도 보고합니다. 웹 인터페이스에서는 클로드나 다른 최첨단 모델을 연결해 로봇에 자연어로 지시할 수 있습니다.

Ai2는 토이블록스로 기술 순서, 글자나 색상, 블록 수, 작업 공간 위치가 달라질 때 행동 모델이 얼마나 일반화하는지 시험했습니다. 연구는 훈련 범위 안의 보간과 범위를 넘어서는 외삽을 구분합니다. 예를 들어 블록 2개와 5개를 쌓도록 훈련한 뒤 3개와 4개 쌓기를 시험합니다. 초기 결과에서 마니플로, 파이제로점오, 몰모액트 2는 대규모 사전 훈련에도 일반화 성능이 낮았습니다. 연구팀은 성능을 개선하고 각 기법의 기여를 분석하고 있지만, 문제는 아직 해결되지 않았다고 밝혔습니다.

더 긴 과제에서는 오라클이라는 기준 구성 요소가 올바른 계획이나 행동을 제공해 고수준 계획의 실패와 저수준 실행의 실패를 구분하도록 돕습니다. 블록으로 단어를 만드는 과제에서는 몰모 2가 기술과 블록을 고르고 마니플로가 지시를 실행합니다. 연구팀은 클로드 오푸스 5.5를 이용한 에이전트 시스템도 시험했습니다. 고전 계획 과제에서 시스템은 텍스트 설명만으로 쌓기 과제 30개 중 30개를 해결했고, 카메라 관찰과 행동 선택을 반복하는 방식에서도 30개 중 30개를 풀었습니다.

검색·철자 시험에서는 최대 8개 블록에서 글자를 찾아야 했으며, 장면의 50%에는 필요한 글자가 하나 이상 없었습니다. 시스템은 과제의 63%를 해결하거나 불가능하다고 정확히 판정했습니다. 오류 사례 중 13%는 모양이 비슷한 글자를 혼동했고, 15%는 글자의 방향을 잘못 골랐습니다. 블록의 의미 패턴은 숨겨진 면을 추론하고 일부 불가능한 장면을 더 빨리 판정하는 데 도움이 됐습니다.

추가 실험에서 Ai2는 에이전트에게 기술이 어떻게 작동하는지 살펴보도록 했습니다. 기술이 예상과 다르게 움직이면 에이전트가 가설을 세우고 작은 시험을 설계한 뒤, 결과를 바탕으로 이해를 수정하는 방식입니다. 제공된 요약은 이 실험을 설명하던 중 끝납니다.