SWE-Bench Pro

인용 빈도 3/3
무엇을 측정하나요?
실제 오픈소스 프로그램 코드 묶음(저장소)의 긴 소프트웨어 과제를 AI가 고쳐 내는지 봅니다. Scale AI가 만들었습니다.
누가 어떻게 평가하나요?
AI가 코드를 고쳐 숨겨진 테스트를 통과하는지로 판정합니다. 논문 기준 전체 1,865개 과제 중 공개 세트는 731개입니다.
점수 읽는 법
점수는 0~100%입니다. 높을수록 좋습니다. 제조사마다 쓴 과제 세트와 도구가 달라 점수마다 조건을 함께 봐야 합니다.

이 순위는 모델 제조사가 스스로 발표한 점수만으로 만들었습니다. 도구 사용 여부·추론 강도 같은 측정 조건이 제조사마다 달라, 모델끼리 직접 비교할 때는 각 점수의 조건을 함께 보세요.

최고 점수97.7%
측정한 모델53개
측정 기준높을수록 좋음
최근 갱신2026.09.22
모델 출시 시기

실제 개발 프로젝트의 문제를 코드로 고칠 수 있을까?

SWE-Bench Pro

  1. 🥇InklingInkling 2 Small97.7%
  2. 🥈AnthropicClaude Opus 5.5추론 강도: Max89.9%
  3. 🥉AnthropicClaude Fable 5.1추론 강도: Max81.2%
  4. #4AnthropicClaude Fable 5추론 강도: Max80.0%
  5. #5AnthropicClaude Opus 5추론 강도: Max79.2%
  6. #6AnthropicClaude Opus 4.8추론 강도: Max69.2%
  7. #7TencentHy4추론 강도: Max65.7%
  8. #8SpaceXSIGrok 4.5추론 강도: High64.7%
  9. #9OpenAIGPT-5.6 Sol64.6%
  10. #10AnthropicClaude Opus 4.7추론 강도: Max64.3%
  11. #11OpenAIGPT-5.6 Terra63.4%
  12. #12AnthropicClaude Sonnet 5추론 강도: Max63.2%
  13. #13OpenAIGPT-5.6 Luna62.7%
  14. #14AlibabaQwen3.8 Flash62.5%
  15. #15Z.aiGLM 5.262.1%
  16. #16MetaMuse Spark 1.1추론 강도: Extra High61.5%
  17. #17AlibabaQwen3.7 Max60.6%
  18. #18MeituanLongCat 2.059.5%
  19. #19MiniMaxMiniMax M359.0%
  20. #20GoogleGemini 3.6 Flash58.7%
  21. #21OpenAIGPT-5.5추론 강도: Extra High58.6%
  22. #21Moonshot AIKimi K2.6추론 강도: Thinking58.6%
  23. #23Z.aiGLM-5.158.4%
  24. #24AnthropicClaude Sonnet 4.658.1%
  25. #25OpenAIGPT-5.4추론 강도: Extra High57.7%
  26. #26AlibabaQwen3.7 Plus57.6%
  27. #27AlibabaQwen3.6 Max57.3%
  28. #28XiaomiMiMo V2.5 Pro57.2%
  29. #29AlibabaQwen3.6 Plus56.6%
  30. #30StepfunStep 3.7 Flash56.3%
  31. #31MiniMaxMiniMax M2.756.2%
  32. #32XiaomiMiMo V2.556.1%
  33. #33MiniMaxMiniMax M2.555.4%
  34. #33DeepSeekDeepSeek V4 Pro추론 강도: Max55.4%
  35. #35GoogleGemini 3.5 Flash55.1%
  36. #35Z.aiGLM-555.1%
  37. #37XiaomiMiMo V2 Pro55.0%
  38. #37MetaMuse Spark55.0%
  39. #39OpenAIGPT-5.4 Mini추론 강도: Extra High54.4%
  40. #40GoogleGemini 3.5 Flash-Lite추론 강도: High54.2%
  41. #40GoogleGemini 3.1 Pro추론 강도: High54.2%
  42. #42AnthropicClaude Opus 4.653.4%
  43. #43DeepSeekDeepSeek V4 Flash추론 강도: Max52.6%
  44. #44OpenAIGPT-5.4 Nano추론 강도: Extra High52.4%
  45. #45AnthropicClaude Opus 4.5추론 강도: None52.0%
  46. #46Moonshot AIKimi K2.550.7%
  47. #47GoogleGemini 3 Flash49.6%
  48. #48AlibabaQwen3.6 Flash49.5%
  49. #48AlibabaQwen3.6 35B A3B49.5%
  50. #50PoolsideLaguna M.149.2%
  51. #51ByteDanceDola Seed 2.0 Pro46.9%
  52. #52CohereNorth Mini Code40.2%
  53. #53GoogleGemini 3.1 Flash Lite38.3%
모델 절반이 57.3% 이하측정: 제조사 발표

"작업 도구"는 AI가 과제를 풀 때 함께 쓴 실행 환경(에이전트 프로그램)입니다. 같은 모델이라도 작업 도구와 추론 강도에 따라 점수가 크게 달라질 수 있습니다.

  • Self-reported via Hugging Face model repos모델 제작사가 Hugging Face의 모델 페이지에 직접 올린 평가 결과(승인되어 병합된 것만)입니다. 측정 조건은 제작사마다 다릅니다.
  • Self-reported by each model maker — see the source link on each score모델 제작사가 직접 발표한 수치를, 발표 글·시스템 카드 같은 원문에서 확인해 옮긴 값입니다. 측정 조건은 제작사마다 다르며 점수마다 원문 링크가 있습니다.
카톡 문의