ProgramBench
인용 빈도 2/3
- 무엇을 측정하나요?
- ProgramBench 팀이 만든 시험으로, AI가 실행 파일과 동작 명세만 보고 명령줄 프로그램을 처음부터 다시 구현해 내는지 봅니다.
- 누가 어떻게 평가하나요?
- 공개 과제 200개이며, 인터넷·디컴파일러 없이 프로그램을 실행만 해 보며 소스 코드를 새로 씁니다. 숨겨진 테스트를 전부 통과해야 해결로 칩니다. Vals AI가 모든 모델을 같은 하네스로, 과제당 6시간·1,000단계 안에서 잽니다.
- 점수 읽는 법
- 점수는 0~100%입니다. 높을수록 좋습니다. 가장 엄격한 지표라 상위 모델도 20%를 넘지 못합니다. 테스트를 95% 이상 통과한 '거의 해결' 비율은 훨씬 높습니다.
최고 점수19.0%
측정한 모델57개
측정 기준높을수록 좋음
최근 갱신2026.11.19
모델 출시 시기
순위모델실행 조건출시일가격/1M점수
- 12026.11.09$3219.0%
- 22026.09.22$1618.5%
- 32026.09.01$407.0%
- 42026.09.28$86.5%
- 5max2026.09.04$405.5%
- 6max2026.09.29$83.0%
- 62026.07.24$203.0%
- 82026.10.07$0.402.5%
- 8high2026.09.30$82.5%

- 8max2026.09.02$3.502.5%
"작업 도구"는 AI가 과제를 풀 때 함께 쓴 실행 환경(에이전트 프로그램)입니다. 같은 모델이라도 작업 도구와 추론 강도에 따라 점수가 크게 달라질 수 있습니다.