CrucibleBench는 텍스트 기반의 지속적인 가상 환경인 MUD(Multi-User Dungeon)를 활용해 대규모 언어 모델(LLM)을 평가하는 개념 증명 프레임워크를 공개했다. 연구진은 7가지 명령어, 12개의 방, 14개의 아이템으로 구성된 제한된 환경을 통해 모델의 정적 지식 보다는 실시간 행동을 측정하고자 했다. 이 프레임워크는 0에서 100까지의 신뢰도와 의심도를 가진 4명의 NPC를 추적하며, 모델과의 상호작용 과정에서 명시적인 사회적 피드백을 제공한다. 특히 각 테스트 실행 내에서 아이템 습득이나 신뢰도 변화와 같은 상태가 지속되도록 설계되었다.

평가 결과, LLM 심사위원의 사용은 성능 순위에 상당한 왜곡을 초래할 수 있음이 확인됐다. 평가 프로토콜에서 분류기 의존적인 두 가지 차원을 제거하자, 주요 모델들의 순위가 최대 6계단까지 변동했다. 모델과 독립적 심사위원 간의 피험자별 일치도는 21.7%에서 84.8%로 큰 격차를 보였는데, 이는 일반적인 종합 신뢰도 지표가 포착하지 못하는 불안정성을 시사한다. 연구진은 LLM 심사위원에 의존하는 벤치마크가 정확성을 확보하기 위해 피험자별 일치도와 절제 연구를 통한 순위 안정성을 우선적으로 보고해야 한다고 제언했다.

상태 머신 텔레메트리를 활용한 행동 분석에서는 대화 반복, 방 위치 착오, 탐색 마비라는 세 가지 주요 실패 유형이 식별되었다. 대화 반복은 전체 실행의 14~66%에서 발생했으며, 모델이 실패한 대화 전략을 적응 없이 반복하는 현상을 보였다. 탐색 마비는 정보 수집이 목표 지향적 행동으로 이어지지 않는 현상으로, 20번의 턴 동안 동일한 '조회' 명령을 5회 반복하거나 2개 이하의 방만 방문하는 등의 형태로 나타났다. Grok 4는 다른 모델들과 달리 12%의 실행에서 방 위치를 혼동하는 사례가 관찰되었다.

해당 프로젝트의 제작 비용은 약 99달러가 소요되었으며, 연구진은 확정적 순위보다는 측정 방법론의 개선에 중점을 두었다고 강조했다. 650개의 대화록과 소스 코드, 청구 내역을 포함한 아카이브가 공개되었으며, 현재는 3,500달러의 자금을 목표로 벤치마크 범위 확대와 파일럿 코호트 운영을 위한 2단계 보정 작업에 착수했다.

CrucibleBench는 텍스트 기반의 지속적인 가상 환경인 MUD(Multi-User Dungeon)를 활용해 대규모 언어 모델(LLM)을 평가하는 개념 증명 프레임워크를 공개했다. 연구진은 7가지 명령어, 12개의 방, 14개의 아이템으로 구성된 제한된 환경을 통해 모델의 정적 지식 보다는 실시간 행동을 측정하고자 했다. 이 프레임워크는 0에서 100까지의 신뢰도와 의심도를 가진 4명의 NPC를 추적하며, 모델과의 상호작용 과정에서 명시적인 사회적 피드백을 제공한다. 특히 각 테스트 실행 내에서 아이템 습득이나 신뢰도 변화와 같은 상태가 지속되도록 설계되었다.

평가 결과, LLM 심사위원의 사용은 성능 순위에 상당한 왜곡을 초래할 수 있음이 확인됐다. 평가 프로토콜에서 분류기 의존적인 두 가지 차원을 제거하자, 주요 모델들의 순위가 최대 6계단까지 변동했다. 모델과 독립적 심사위원 간의 피험자별 일치도는 21.7%에서 84.8%로 큰 격차를 보였는데, 이는 일반적인 종합 신뢰도 지표가 포착하지 못하는 불안정성을 시사한다. 연구진은 LLM 심사위원에 의존하는 벤치마크가 정확성을 확보하기 위해 피험자별 일치도와 절제 연구를 통한 순위 안정성을 우선적으로 보고해야 한다고 제언했다.

상태 머신 텔레메트리를 활용한 행동 분석에서는 대화 반복, 방 위치 착오, 탐색 마비라는 세 가지 주요 실패 유형이 식별되었다. 대화 반복은 전체 실행의 14~66%에서 발생했으며, 모델이 실패한 대화 전략을 적응 없이 반복하는 현상을 보였다. 탐색 마비는 정보 수집이 목표 지향적 행동으로 이어지지 않는 현상으로, 20번의 턴 동안 동일한 '조회' 명령을 5회 반복하거나 2개 이하의 방만 방문하는 등의 형태로 나타났다. Grok 4는 다른 모델들과 달리 12%의 실행에서 방 위치를 혼동하는 사례가 관찰되었다.

해당 프로젝트의 제작 비용은 약 99달러가 소요되었으며, 연구진은 확정적 순위보다는 측정 방법론의 개선에 중점을 두었다고 강조했다. 650개의 대화록과 소스 코드, 청구 내역을 포함한 아카이브가 공개되었으며, 현재는 3,500달러의 자금을 목표로 벤치마크 범위 확대와 파일럿 코호트 운영을 위한 2단계 보정 작업에 착수했다.