ProofBench (Vals)
- 무엇을 측정하나요?
- 대학원·대학 고학년 수준의 정리를 수학 증명으로 직접 써낼 수 있는지 봅니다. Vals AI가 만들었습니다.
- 누가 어떻게 평가하나요?
- 해석학, 대수, 확률, 정수론 등의 정리 100개를 증명 검증용 언어인 Lean 4로 써서 기계 검증을 통과해야 합니다. 부분 점수는 없습니다.
- 점수 읽는 법
- 점수는 0~100%입니다. 높을수록 좋습니다. 구글 딥마인드의 같은 이름 시험과는 다릅니다.
최고 점수100.0%
측정한 모델71개
측정 기준높을수록 좋음
모델 출시 시기
여러 분야 전문가도 어려워하는 문제를 풀 수 있을까?Humanity's Last Exam
Claude Opus 5.5🥇
Claude Opus 5.5🥇Humanity's Last Exam
Claude Opus 5.5🥇연구 수준의 물리 문제를 풀 수 있을까?CritPt
Gemini 4 Carbon🥇
Gemini 4 Carbon🥇CritPt
Gemini 4 Carbon🥇대중들이 가장 선호하는 수학 답변을 하는 AI는?Arena Math
Gemini 4 Argon🥇
Gemini 4 Argon🥇Arena Math
Gemini 4 Argon🥇
수학 증명을 빈틈없이 쓸 수 있을까?
ProofBench
- 🥇AnthropicClaude Fable 5.2추론 강도: Max100.0%
- 🥇AnthropicClaude Fable 5.1추론 강도: Max100.0%
- 🥇AnthropicClaude Opus 5.5추론 강도: Max100.0%
- 🥇AnthropicClaude Sonnet 5.5추론 강도: Max100.0%
- #5GoogleGemini 4 Argon99.0%
- #5OpenAIGPT-6.1 Sol99.0%
- #5AnthropicClaude Opus 5추론 강도: Max99.0%
- #5OpenAIGPT-6 Astra99.0%
- #9AnthropicClaude Fable 5추론 강도: Max95.0%
- #10Moonshot AIKimi K3.1 Pro91.0%
- #11AnthropicClaude Haiku 5.5추론 강도: Max89.0%
- #12Moonshot AIKimi K387.0%
- #13OpenAIGPT-6 Sol83.0%
- #13OpenAIGPT-5.6 Sol추론 강도: Max83.0%
- #15AnthropicClaude Sonnet 5추론 강도: Max77.0%
- #16TencentHy475.0%
- #17OpenAIGPT-5.6 Terra추론 강도: Extra High74.0%
- #18XiaomiMiMo-V2.6-Pro70.0%
- #19AnthropicClaude Opus 4.8추론 강도: Max69.0%
- #20OpenAIGPT-6 Luna64.0%
- #21XiaomiMiMo-V2.6-Flash63.0%
- #22OpenAIGPT-5.6 Luna추론 강도: Max60.0%
- #23MetaMuse Spark 1.3추론 강도: Max58.0%
- #23GoogleGemini 3.7 Flash58.0%
- #25DeepSeekDeepSeek V4 Flash56.0%
- #25OpenAIGPT-5.4추론 강도: Extra High56.0%
- #27DeepSeekDeepSeek V4.1 Flash54.0%
- #27AnthropicClaude Opus 4.7추론 강도: Max54.0%
- #29SpaceXSIGrok 4.651.0%
- #30AnthropicClaude Opus 4.6추론 강도: Max50.0%
- #30OpenAIGPT-5.5추론 강도: Extra High50.0%
- #30DeepSeekDeepSeek V4 Pro50.0%
- #33Z.aiGLM 5.3추론 강도: Max49.0%
- #34GoogleGemini 3.8 Flash48.0%
- #35AnthropicClaude Sonnet 4.6추론 강도: Max45.0%
- #36MetaMuse Spark 1.243.0%
- #37StepfunStep-542.0%
- #38MetaMuse Spark 1.139.0%
- #39AnthropicClaude Opus 4.536.0%
- #39GoogleGemini 3.6 Flash36.0%
- #41Z.aiGLM 5.2추론 강도: Max35.0%
- #42GoogleGemini 3.5 Flash추론 강도: High31.0%
- #42SpaceXSIGrok 4.5추론 강도: High31.0%
- #44GoogleGemini 3.1 Pro26.0%
- #44AlibabaQwen3.7 Max26.0%
- #44SpaceXSIGrok 4.726.0%
- #47Z.aiGLM-5.122.2%
- #48XiaomiMiMo V2.5 Pro22.0%
- #49Z.aiGLM 5.3 Flash추론 강도: Max21.0%
- #49OpenAIGPT-5.4 Mini추론 강도: Extra High21.0%
- #51AnthropicClaude Sonnet 4.519.0%
- #52OpenAIGPT-5추론 강도: High18.0%
- #52MiniMaxMiniMax M318.0%
- #54MetaMuse Spark17.0%
- #55XiaomiMiMo V2.516.0%
- #55Moonshot AIKimi K2.616.0%
- #57GoogleGemini 3 Flash15.0%
- #58SpaceXSIGrok 4.20 (Reasoning)14.0%
- #59GoogleGemini 3.5 Flash-Lite13.0%
- #60OpenAIGPT-5 Nano추론 강도: High12.0%
- #61SpaceXSIGrok 4.3추론 강도: High11.0%
- #62Mistral AIMistral Large 410.0%
- #63OpenAIGPT-5 Mini추론 강도: High9.0%
- #63Mistral AIMistral Medium 3.59.0%
- #65DeepSeekDeepSeek V3.28.0%
- #66OpenAIGPT-5.4 Nano추론 강도: High5.0%
- #67MiniMaxMiniMax M2.54.0%
- #67SpaceXSIGrok 4.1 Fast (Reasoning)4.0%
- #69MiniMaxMiniMax M2.73.0%
- #70NVIDIANemotron 3 Ultra2.0%
- #71PoolsideLaguna M.10.0%
상위 4개는 오차 범위 안 · 사실상 공동 1위 · 모델 절반이 43.0% 이하
"작업 도구"는 AI가 과제를 풀 때 함께 쓴 실행 환경(에이전트 프로그램)입니다. 같은 모델이라도 작업 도구와 추론 강도에 따라 점수가 크게 달라질 수 있습니다.