기존의 대규모 언어 모델 (LLM) 에이전트 평가는 대개 정해진 지시사항에 따라 정적인 목표에 도달하는 ‘연역적’ 방식에 의존해 왔다. 하지만 중국의 명문 사학인 푸단대학교(Fudan University) 연구진은 이러한 흐름을 ‘귀납적’ 상호작용으로 전환하기 위해 오디세이아레나(OdysseyArena)를 공개했다. 이 새로운 프레임워크는 에이전트가 미리 설정된 프롬프트나 명시적인 규칙에 의존하는 대신, 직접적인 경험을 통해 환경이 변화하는 숨겨진 규칙인 ‘잠재적 전이 법칙’을 스스로 발견하도록 요구한다.

벤치마크는 더욱 정밀한 테스트를 위해 두 단계로 나뉜다. 먼저 OdysseyArena-Lite는 귀납적 효율성을 측정하기 위한 120개의 표준화된 과제를 제공하며, 보다 엄격한 OdysseyArena-Challenge는 극한의 상황에서도 전략적 일관성을 유지할 수 있는지를 시험한다. 특히 도전적인 시나리오에서는 모델이 200단계가 넘는 긴 과정 동안 안정성과 계획 능력을 지속해야 하며, 이를 통해 단순 작업 수행을 넘어선 진정한 에이전틱 AI의 예지력을 갖추도록 유도한다.

실제로 15개 이상의 주요 시스템을 대상으로 진행한 광범위한 테스트 결과는 업계의 심각한 성능 병목 현상을 고스란히 드러냈다. 현재 시장을 선도하는 프론티어 모델들조차 귀납적 시나리오에서는 눈에 띄는 한계를 보였으며, 자신의 행동 결과만으로 환경의 패턴을 파악하는 데 상당한 어려움을 겪었다.

결과적으로 오늘날의 AI는 주어진 디지털 지도를 따라가는 능력은 매우 뛰어나지만, 낯설고 역동적인 영토에서 스스로 지도를 그려내는 작업에는 여전히 취약하다는 점이 확인되었다. 연구진은 이번 벤치마크가 복잡한 실세계 환경에 더 잘 적응하는 차세대 AI 모델 개발의 중요한 지표가 될 것으로 기대하고 있다.

기존의 대규모 언어 모델 (LLM) 에이전트 평가는 대개 정해진 지시사항에 따라 정적인 목표에 도달하는 ‘연역적’ 방식에 의존해 왔다. 하지만 중국의 명문 사학인 푸단대학교(Fudan University) 연구진은 이러한 흐름을 ‘귀납적’ 상호작용으로 전환하기 위해 오디세이아레나(OdysseyArena)를 공개했다. 이 새로운 프레임워크는 에이전트가 미리 설정된 프롬프트나 명시적인 규칙에 의존하는 대신, 직접적인 경험을 통해 환경이 변화하는 숨겨진 규칙인 ‘잠재적 전이 법칙’을 스스로 발견하도록 요구한다.

벤치마크는 더욱 정밀한 테스트를 위해 두 단계로 나뉜다. 먼저 OdysseyArena-Lite는 귀납적 효율성을 측정하기 위한 120개의 표준화된 과제를 제공하며, 보다 엄격한 OdysseyArena-Challenge는 극한의 상황에서도 전략적 일관성을 유지할 수 있는지를 시험한다. 특히 도전적인 시나리오에서는 모델이 200단계가 넘는 긴 과정 동안 안정성과 계획 능력을 지속해야 하며, 이를 통해 단순 작업 수행을 넘어선 진정한 에이전틱 AI의 예지력을 갖추도록 유도한다.

실제로 15개 이상의 주요 시스템을 대상으로 진행한 광범위한 테스트 결과는 업계의 심각한 성능 병목 현상을 고스란히 드러냈다. 현재 시장을 선도하는 프론티어 모델들조차 귀납적 시나리오에서는 눈에 띄는 한계를 보였으며, 자신의 행동 결과만으로 환경의 패턴을 파악하는 데 상당한 어려움을 겪었다.

결과적으로 오늘날의 AI는 주어진 디지털 지도를 따라가는 능력은 매우 뛰어나지만, 낯설고 역동적인 영토에서 스스로 지도를 그려내는 작업에는 여전히 취약하다는 점이 확인되었다. 연구진은 이번 벤치마크가 복잡한 실세계 환경에 더 잘 적응하는 차세대 AI 모델 개발의 중요한 지표가 될 것으로 기대하고 있다.