Terminal-Bench-Science 0.1

무엇을 측정하나요?

현직 과학자들이 낸 연구 과제로, AI 에이전트가 터미널에서 신호 복원·모델 보정·증명 같은 실제 연구 작업을 해내는지 봅니다.

누가 어떻게 평가하나요?

생명·물리·지구·수학·공학 다섯 분야의 70개 과제를 과제를 낸 사람이 쓴 검증 테스트로 통과·실패만 가립니다(부분 점수 없음). Vals AI가 모든 모델을 같은 하네스로 한 번씩, 과제당 8시간까지 돌립니다.

점수 읽는 법

점수는 0~100%입니다. 높을수록 좋습니다. 제조사가 자기 에이전트로 세 번 돌린 공식 수치와 비교할 수 없고, 대체로 더 낮게 나옵니다. 아직 0.1 판입니다.