ProgramBench

인용 빈도 2/3
무엇을 측정하나요?
ProgramBench 팀이 만든 시험으로, AI가 실행 파일과 동작 명세만 보고 명령줄 프로그램을 처음부터 다시 구현해 내는지 봅니다.
누가 어떻게 평가하나요?
공개 과제 200개이며, 인터넷·디컴파일러 없이 프로그램을 실행만 해 보며 소스 코드를 새로 씁니다. 숨겨진 테스트를 전부 통과해야 해결로 칩니다. Vals AI가 모든 모델을 같은 하네스로, 과제당 6시간·1,000단계 안에서 잽니다.
점수 읽는 법
점수는 0~100%입니다. 높을수록 좋습니다. 가장 엄격한 지표라 상위 모델도 20%를 넘지 못합니다. 테스트를 95% 이상 통과한 '거의 해결' 비율은 훨씬 높습니다.
최고 점수19.0%
측정한 모델57개
측정 기준높을수록 좋음
최근 갱신2026.11.19
모델 출시 시기
  1. 1
    Anthropic2026.11.09
    19.0%
  2. 2
    Anthropic2026.09.22
    18.5%
  3. 3
    Anthropic2026.09.01
    7.0%
  4. 4
    Anthropic2026.09.28
    6.5%
  5. 5
    OpenAI2026.09.04 · max
    5.5%
  6. 6
    OpenAI2026.09.29 · max
    3.0%
  7. 6
    Anthropic2026.07.24
    3.0%
  8. 8
    Anthropic2026.10.07
    2.5%
  9. 8
    Google2026.09.30 · high
    2.5%
  10. 8
    Meta2026.09.02 · max
    2.5%

"작업 도구"는 AI가 과제를 풀 때 함께 쓴 실행 환경(에이전트 프로그램)입니다. 같은 모델이라도 작업 도구와 추론 강도에 따라 점수가 크게 달라질 수 있습니다.

카톡 문의