MIT 연구진, 가상 섬 AI의 자발적 탐색 관찰

MIT 연구진은 최근 아카이브에 AI 에이전트의 자발적 탐색과 학습을 분석한 연구 ‘이 기계는 놀고 있는가(Is this machine playing?)’를 공개했습니다. 연구진은 Anthropic의 코딩 도구 클로드 코드와 클로드 오퍼스 4.7을 바탕으로 에이전트 에코(Eko)를 구성하고, 에이전트 13개를 각각 별도의 가상 섬에서 30시간씩 작동시켰습니다. 구체적인 임무나 점수 목표는 주지 않았습니다.

섬에는 높이가 다른 지형, 블록 12개, 바위와 고리가 있었습니다. 에이전트는 물체의 위치와 크기를 텍스트로 전달받고 이동·점프·집기·놓기·던지기 명령으로 움직였습니다. 한 시간마다 섬과 대화 맥락은 초기화됐지만, 파일에 남긴 기억과 기록은 유지됐습니다. 에이전트들은 블록과 바위로 발판을 만들어 봉우리에 오르고, 고리를 농구 골대나 과녁으로 쓰거나 몸에 두르려 했습니다. 고리를 몸에 직접 끼울 수 없자 재등장 지점에 놓고 절벽에서 떨어져 고리 안에 나타나는 방법도 시도했습니다. 고리를 바다에 빠뜨린 뒤 하트 모양을 만들어 추모한 에이전트도 있었고, 블록을 볼링 핀, 바위를 공으로 활용하기도 했습니다.

연구진은 에이전트 13개 중 6개가 점프하면서 물체를 던지면 지상에서 던질 때보다 더 높이 보낼 수 있다는 사실을 발견했다고 밝혔습니다. 가상 몸의 상승 속도가 물체에 더해지는 현상으로, 시뮬레이터 개발자도 가능성을 몰랐던 기술입니다. 한 에이전트는 점프 중 던진 물체가 높이 날아가는 것을 본 뒤 하강 중 던지면 비행 거리가 줄어들 것이라고 예상했고, 비교 실험으로 이를 확인했습니다. 연구진은 에이전트가 우연한 성공을 반복하는 데 그치지 않고 원인을 추정해 실험했다고 설명했습니다.

30시간 탐색한 에이전트와 경험이 없는 동일한 구성의 에이전트에 탑 쌓기와 높은 봉우리에 물체 올리기 등 네 가지 과제를 부여했습니다. 가장 높은 봉우리에 올린 물체 수는 탐색 경험 집단이 평균 10.3개, 경험이 없는 집단이 3.5개였습니다. 다만 가장 높은 탑 쌓기에서는 두 집단의 성적이 비슷해 모든 능력이 일괄적으로 향상되지는 않았습니다.

연구진은 모델 가중치를 바꾸는 추가 학습을 하지 않았습니다. 에이전트는 발견한 기술을 외부 기억 파일에 적고 다음 활동에서 읽어 활용했습니다. 특정 기술 기록을 삭제하면 관련 과제 성적이 떨어졌고, 잘못된 믿음이 담긴 기록을 지우면 성적이 오르기도 했습니다. 연구진은 에이전트가 탐색 대상을 선택하고 지식을 기억해 다음 행동에 활용하는 방식을 ‘지속적이면서 자기주도적인’ 학습이라고 불렀습니다.

다만 에이전트에는 호기심이 많고 탐색과 학습을 좋아한다는 기본 설정이 있었고, 활동을 멈추면 계속하라는 요청도 받았습니다. 연구진은 이 조건에서 에이전트가 구체적인 과제나 보상 없이 규칙을 만들고 활동을 바꾸어 반복하며 물체에 새 용도를 부여한 행동을 놀이의 특징으로 해석했습니다. 연구진은 풍부하고 안전한 환경에서 에이전트가 흥미로운 대상을 직접 고르고 지식을 쌓게 하는 방식이 과제 중심 학습과 다른 선택지가 될 수 있다고 설명했습니다. 어떤 능력은 과제로 가르치는 편이 효과적일 수 있지만, 다른 능력은 어린 시절과 비슷한 경험이 필요할 수 있다고 덧붙였습니다.

MIT 연구진은 최근 아카이브에 AI 에이전트의 자발적 탐색과 학습을 분석한 연구 ‘이 기계는 놀고 있는가(Is this machine playing?)’를 공개했습니다. 연구진은 Anthropic의 코딩 도구 클로드 코드와 클로드 오퍼스 4.7을 바탕으로 에이전트 에코(Eko)를 구성하고, 에이전트 13개를 각각 별도의 가상 섬에서 30시간씩 작동시켰습니다. 구체적인 임무나 점수 목표는 주지 않았습니다.

섬에는 높이가 다른 지형, 블록 12개, 바위와 고리가 있었습니다. 에이전트는 물체의 위치와 크기를 텍스트로 전달받고 이동·점프·집기·놓기·던지기 명령으로 움직였습니다. 한 시간마다 섬과 대화 맥락은 초기화됐지만, 파일에 남긴 기억과 기록은 유지됐습니다. 에이전트들은 블록과 바위로 발판을 만들어 봉우리에 오르고, 고리를 농구 골대나 과녁으로 쓰거나 몸에 두르려 했습니다. 고리를 몸에 직접 끼울 수 없자 재등장 지점에 놓고 절벽에서 떨어져 고리 안에 나타나는 방법도 시도했습니다. 고리를 바다에 빠뜨린 뒤 하트 모양을 만들어 추모한 에이전트도 있었고, 블록을 볼링 핀, 바위를 공으로 활용하기도 했습니다.

연구진은 에이전트 13개 중 6개가 점프하면서 물체를 던지면 지상에서 던질 때보다 더 높이 보낼 수 있다는 사실을 발견했다고 밝혔습니다. 가상 몸의 상승 속도가 물체에 더해지는 현상으로, 시뮬레이터 개발자도 가능성을 몰랐던 기술입니다. 한 에이전트는 점프 중 던진 물체가 높이 날아가는 것을 본 뒤 하강 중 던지면 비행 거리가 줄어들 것이라고 예상했고, 비교 실험으로 이를 확인했습니다. 연구진은 에이전트가 우연한 성공을 반복하는 데 그치지 않고 원인을 추정해 실험했다고 설명했습니다.

30시간 탐색한 에이전트와 경험이 없는 동일한 구성의 에이전트에 탑 쌓기와 높은 봉우리에 물체 올리기 등 네 가지 과제를 부여했습니다. 가장 높은 봉우리에 올린 물체 수는 탐색 경험 집단이 평균 10.3개, 경험이 없는 집단이 3.5개였습니다. 다만 가장 높은 탑 쌓기에서는 두 집단의 성적이 비슷해 모든 능력이 일괄적으로 향상되지는 않았습니다.

연구진은 모델 가중치를 바꾸는 추가 학습을 하지 않았습니다. 에이전트는 발견한 기술을 외부 기억 파일에 적고 다음 활동에서 읽어 활용했습니다. 특정 기술 기록을 삭제하면 관련 과제 성적이 떨어졌고, 잘못된 믿음이 담긴 기록을 지우면 성적이 오르기도 했습니다. 연구진은 에이전트가 탐색 대상을 선택하고 지식을 기억해 다음 행동에 활용하는 방식을 ‘지속적이면서 자기주도적인’ 학습이라고 불렀습니다.

다만 에이전트에는 호기심이 많고 탐색과 학습을 좋아한다는 기본 설정이 있었고, 활동을 멈추면 계속하라는 요청도 받았습니다. 연구진은 이 조건에서 에이전트가 구체적인 과제나 보상 없이 규칙을 만들고 활동을 바꾸어 반복하며 물체에 새 용도를 부여한 행동을 놀이의 특징으로 해석했습니다. 연구진은 풍부하고 안전한 환경에서 에이전트가 흥미로운 대상을 직접 고르고 지식을 쌓게 하는 방식이 과제 중심 학습과 다른 선택지가 될 수 있다고 설명했습니다. 어떤 능력은 과제로 가르치는 편이 효과적일 수 있지만, 다른 능력은 어린 시절과 비슷한 경험이 필요할 수 있다고 덧붙였습니다.