SWE-Bench Pro
인용 빈도 3/3
- 무엇을 측정하나요?
- 실제 오픈소스 프로그램 코드 묶음(저장소)의 긴 소프트웨어 과제를 AI가 고쳐 내는지 봅니다. Scale AI가 만들었습니다.
- 누가 어떻게 평가하나요?
- AI가 코드를 고쳐 숨겨진 테스트를 통과하는지로 판정합니다. 논문 기준 전체 1,865개 과제 중 공개 세트는 731개입니다.
- 점수 읽는 법
- 점수는 0~100%입니다. 높을수록 좋습니다. 제조사마다 쓴 과제 세트와 도구가 달라 점수마다 조건을 함께 봐야 합니다.
이 순위는 모델 제조사가 스스로 발표한 점수만으로 만들었습니다. 도구 사용 여부·추론 강도 같은 측정 조건이 제조사마다 달라, 모델끼리 직접 비교할 때는 각 점수의 조건을 함께 보세요.
최고 점수97.7%
측정한 모델53개
측정 기준높을수록 좋음
최근 갱신2026.09.22
모델 출시 시기
장시간의 개발 작업을 AI가 컴퓨터를 직접 조작하며 자율적으로 수행할 수 있을까?Terminal-Bench 4.0
Kimi K3.1 Pro🥇
Kimi K3.1 Pro🥇Terminal-Bench 4.0
Kimi K3.1 Pro🥇코딩에 관한 답변 중에서 대중들이 가장 선호하는 AI는?Arena Coding
Gemini 4 Carbon🥇
Gemini 4 Carbon🥇Arena Coding
Gemini 4 Carbon🥇AI가 직접 코드를 테스트하고 수정하면서 주어진 과제를 완료할 수 있을까?LiveBench Agentic Coding v1
DeepSeek V4.1 Flash🥇
DeepSeek V4.1 Flash🥇LiveBench Agentic Coding v1
DeepSeek V4.1 Flash🥇
실제 개발 프로젝트의 문제를 코드로 고칠 수 있을까?
SWE-Bench Pro
- 🥇InklingInkling 2 Small97.7%
- 🥈AnthropicClaude Opus 5.5추론 강도: Max89.9%
- 🥉AnthropicClaude Fable 5.1추론 강도: Max81.2%
- #4AnthropicClaude Fable 5추론 강도: Max80.0%
- #5AnthropicClaude Opus 5추론 강도: Max79.2%
- #6AnthropicClaude Opus 4.8추론 강도: Max69.2%
- #7TencentHy4추론 강도: Max65.7%
- #8SpaceXSIGrok 4.5추론 강도: High64.7%
- #9OpenAIGPT-5.6 Sol64.6%
- #10AnthropicClaude Opus 4.7추론 강도: Max64.3%
- #11OpenAIGPT-5.6 Terra63.4%
- #12AnthropicClaude Sonnet 5추론 강도: Max63.2%
- #13OpenAIGPT-5.6 Luna62.7%
- #14AlibabaQwen3.8 Flash62.5%
- #15Z.aiGLM 5.262.1%
- #16MetaMuse Spark 1.1추론 강도: Extra High61.5%
- #17AlibabaQwen3.7 Max60.6%
- #18MeituanLongCat 2.059.5%
- #19MiniMaxMiniMax M359.0%
- #20GoogleGemini 3.6 Flash58.7%
- #21OpenAIGPT-5.5추론 강도: Extra High58.6%
- #21Moonshot AIKimi K2.6추론 강도: Thinking58.6%
- #23Z.aiGLM-5.158.4%
- #24AnthropicClaude Sonnet 4.658.1%
- #25OpenAIGPT-5.4추론 강도: Extra High57.7%
- #26AlibabaQwen3.7 Plus57.6%
- #27AlibabaQwen3.6 Max57.3%
- #28XiaomiMiMo V2.5 Pro57.2%
- #29AlibabaQwen3.6 Plus56.6%
- #30StepfunStep 3.7 Flash56.3%
- #31MiniMaxMiniMax M2.756.2%
- #32XiaomiMiMo V2.556.1%
- #33MiniMaxMiniMax M2.555.4%
- #33DeepSeekDeepSeek V4 Pro추론 강도: Max55.4%
- #35GoogleGemini 3.5 Flash55.1%
- #35Z.aiGLM-555.1%
- #37XiaomiMiMo V2 Pro55.0%
- #37MetaMuse Spark55.0%
- #39OpenAIGPT-5.4 Mini추론 강도: Extra High54.4%
- #40GoogleGemini 3.5 Flash-Lite추론 강도: High54.2%
- #40GoogleGemini 3.1 Pro추론 강도: High54.2%
- #42AnthropicClaude Opus 4.653.4%
- #43DeepSeekDeepSeek V4 Flash추론 강도: Max52.6%
- #44OpenAIGPT-5.4 Nano추론 강도: Extra High52.4%
- #45AnthropicClaude Opus 4.5추론 강도: None52.0%
- #46Moonshot AIKimi K2.550.7%
- #47GoogleGemini 3 Flash49.6%
- #48AlibabaQwen3.6 Flash49.5%
- #48AlibabaQwen3.6 35B A3B49.5%
- #50PoolsideLaguna M.149.2%
- #51ByteDanceDola Seed 2.0 Pro46.9%
- #52CohereNorth Mini Code40.2%
- #53GoogleGemini 3.1 Flash Lite38.3%
모델 절반이 57.3% 이하측정: 제조사 발표
"작업 도구"는 AI가 과제를 풀 때 함께 쓴 실행 환경(에이전트 프로그램)입니다. 같은 모델이라도 작업 도구와 추론 강도에 따라 점수가 크게 달라질 수 있습니다.