MIT 연구진이 로봇이 상세한 주변 환경을 기억하고 인간의 공간 내에서 보다 직관적으로 상호작용할 수 있게 하는 장기 기억 프레임워크를 공개했다. DAAAM(Describe Anything, Anywhere, Anytime, at Any Moment)이라 명명된 이 시스템은 3D 로봇 매핑과 언어적 묘사를 결합하여 환경에 대한 언어 접근성 높은 정신 모델을 구축한다. 기존 방식이 단일 주석만을 처리했던 것과 달리, DAAAM은 로봇이 이동하는 동안 주변 사물 정보를 통합하고, 최적화 기법을 통해 병렬 주석 처리에 적합한 핵심 프레임을 선택한다. 그 결과, 연산 속도가 10배 향상되어 대규모 환경에서도 실시간 작동이 가능하다.

데이터 관리 효율화를 위해 이 프레임워크는 객체들을 3D 지도상의 공간 클러스터 영역으로 구성한다. 사용자가 특정 아이템의 위치를 찾거나 주변 상황을 묻는 질의를 입력하면, 시스템은 도구가 탑재된 거대언어모델(LLM)을 사용하여 데이터베이스에서 정보를 추출한다. 이러한 구조는 환각(잘못된 모델 출력)을 최소화하며, 수초 이내에 정확한 응답을 제공한다. 실제로 DAAAM은 성능 평가에서 기존 최신 기술들 대비 다양한 질문 유형에서 21%에서 53% 높은 정확도를 기록했다.

MIT 대학원생 니콜라스 고를로(Nicolas Gorlo)와 부교수인 루카 칼로네(Luca Carlone)가 이끄는 연구팀은 컴퓨터 비전 및 패턴 인식 학회(CVPR)에서 본 연구 결과를 발표했다. 이 프레임워크는 로봇 공학을 넘어 유지보수 지원을 위한 증강 현실이나 경로 안내 분야로의 확장 가능성을 지닌다. 연구팀은 향후 중요한 사건을 추적하고 로봇의 응답에 신뢰도를 반영하는 기능을 추가하여 시스템을 고도화할 계획이다. 이번 연구는 미 육군 연구소 및 해군 연구처의 지원을 받아 수행되었으며, 복잡한 인간의 명령을 수행할 수 있는 범용 에이전트 개발을 목표로 한다.

MIT 연구진이 로봇이 상세한 주변 환경을 기억하고 인간의 공간 내에서 보다 직관적으로 상호작용할 수 있게 하는 장기 기억 프레임워크를 공개했다. DAAAM(Describe Anything, Anywhere, Anytime, at Any Moment)이라 명명된 이 시스템은 3D 로봇 매핑과 언어적 묘사를 결합하여 환경에 대한 언어 접근성 높은 정신 모델을 구축한다. 기존 방식이 단일 주석만을 처리했던 것과 달리, DAAAM은 로봇이 이동하는 동안 주변 사물 정보를 통합하고, 최적화 기법을 통해 병렬 주석 처리에 적합한 핵심 프레임을 선택한다. 그 결과, 연산 속도가 10배 향상되어 대규모 환경에서도 실시간 작동이 가능하다.

데이터 관리 효율화를 위해 이 프레임워크는 객체들을 3D 지도상의 공간 클러스터 영역으로 구성한다. 사용자가 특정 아이템의 위치를 찾거나 주변 상황을 묻는 질의를 입력하면, 시스템은 도구가 탑재된 거대언어모델(LLM)을 사용하여 데이터베이스에서 정보를 추출한다. 이러한 구조는 환각(잘못된 모델 출력)을 최소화하며, 수초 이내에 정확한 응답을 제공한다. 실제로 DAAAM은 성능 평가에서 기존 최신 기술들 대비 다양한 질문 유형에서 21%에서 53% 높은 정확도를 기록했다.

MIT 대학원생 니콜라스 고를로(Nicolas Gorlo)와 부교수인 루카 칼로네(Luca Carlone)가 이끄는 연구팀은 컴퓨터 비전 및 패턴 인식 학회(CVPR)에서 본 연구 결과를 발표했다. 이 프레임워크는 로봇 공학을 넘어 유지보수 지원을 위한 증강 현실이나 경로 안내 분야로의 확장 가능성을 지닌다. 연구팀은 향후 중요한 사건을 추적하고 로봇의 응답에 신뢰도를 반영하는 기능을 추가하여 시스템을 고도화할 계획이다. 이번 연구는 미 육군 연구소 및 해군 연구처의 지원을 받아 수행되었으며, 복잡한 인간의 명령을 수행할 수 있는 범용 에이전트 개발을 목표로 한다.