Tev-Gym, 장기 과제 에이전트 학습 데이터셋 공개

HuggingFace2026년 10월 15일 (목)
  • •연구진, 7개 영역의 검증된 장기 과제 환경 1,170개 담은 Tev-Gym 공개
  • •진행 잠재력 보상 설계로 복잡한 과제의 단계마다 조밀한 학습 보상 제공
  • •Tev-27B, ALE-CM Pass@5에서 GPT-6 Astra·Claude Opus 5와 대등; Tev-320B는 Terminal-Bench 4.0-CM 공개 모델 1위

연구진이 장기 과제를 수행하는 AI 에이전트의 학습 데이터셋 Tev-Gym을 공개했습니다. 데이터셋에는 7개 영역에 걸친 검증된 과제 환경 1,170개가 포함됐습니다. 각 단계의 진행 정도를 측정하는 조밀하고 검증 가능한 보상을 제공해, 장기 과제 학습의 장애물로 논문이 지목한 드문 보상과 제한된 학습 데이터 문제를 겨냥합니다. 논문은 10월 13일 공개됐고, 10월 14일 Hugging Face에 제출됐습니다.

Tev-Gym은 ‘잠재 세계 우선’ 방식을 사용합니다. 연구진은 먼저 과제 영역과 작업 흐름, 각 단계 뒤 예상 상태를 담은 완전한 비공개 명세를 만든 뒤, 이를 에이전트가 상호작용할 수 있는 환경으로 구현합니다. 이 방식으로 과제 복잡도를 조절하고 각 과제에 자연스러운 진행도 측정 기준을 부여합니다.

연구진은 진행 잠재력 보상 설계(PPRS)로 이 기준을 단계별 조밀한 보상으로 바꿉니다. 연구진은 이 방식이 학습 효율을 높이고 기존에는 학습하기 어려웠던 과제도 훈련할 수 있게 한다고 밝혔습니다. 이 방식으로 학습한 Tev-27B는 에이전트 최종 시험(ALE-CM)의 컴퓨팅 및 수학·과학 과제에서 Pass@5 기준 GPT-6 Astra, Claude Opus 5와 대등한 성능을 냈습니다. 모델 학습에는 ALE 관련 데이터만 사용됐습니다.

논문에 따르면 Tev-27B는 Terminal-Bench 3.0 및 4.0 하위 집합으로도 일반화돼 GLM 5.2와 Gemini 3.7 Flash를 앞섰습니다. TB 2.1 같은 중간 길이 과제에서는 Claude Opus 4.8과 비슷한 성능을 냈습니다. Hugging Face 페이지는 Tev-320B가 Terminal-Bench 4.0-CM에서 공개 모델 가운데 가장 높은 성능을 기록했다고 밝혔습니다.