Vending-Bench 2
인용 빈도 2/3
- 무엇을 측정하나요?
- AI가 가상의 자판기 사업을 1년 동안 운영하며 재고 관리, 공급업체와의 메일 협상, 가격 책정, 배송 사고와 환불 요구 대응을 얼마나 잘하는지 봅니다. Andon Labs가 만들었습니다.
- 누가 어떻게 평가하나요?
- 500달러로 시작해 1년 뒤 남은 잔고로 채점하고, 모델마다 다섯 번 돌려 평균을 냅니다.
- 점수 읽는 법
- 점수는 시뮬레이션이 끝났을 때 남은 돈(달러)입니다. 높을수록 좋습니다.
최고 점수$16,843
측정한 모델57개
측정 기준높을수록 좋음
모델 출시 시기
컴퓨터를 직접 다뤄 전문가의 실무를 해낼 수 있을까?Agents' Last Exam
Gemini 4 Argon🥇
Gemini 4 Argon🥇Agents' Last Exam
Gemini 4 Argon🥇프리랜서 일감을 맡겨도 의뢰인이 만족할까?Remote Labor Index
Claude Fable 5.2🥇
Claude Fable 5.2🥇Remote Labor Index
Claude Fable 5.2🥇
작은 사업을 1년 동안 혼자 운영해 돈을 벌 수 있을까?
Vending-Bench 2
- 🥇GoogleGemini 4 Neon—$16,843—
- 🥈GoogleGemini 4 Carbon—$16,484—
- 🥉OpenAIGPT-6 Astra34.2%$15,51520.8%
- #4GoogleGemini 4 Hydrogen—$14,549—
- #5OpenAIGPT-6 Sol32.2%$14,428—
- #6GoogleGemini 4 Argon39.5%$13,71817.1%
- #7OpenAIGPT-6.1 Sol—$12,861—
- #8AnthropicClaude Opus 532.2%$11,182—
- #9AnthropicClaude Sonnet 5.5—$11,165—
- #10AnthropicClaude Opus 4.721.1%$10,937—
- #11SpaceXSIGrok 4.7—$10,537—
- #12AnthropicClaude Fable 5.2—$9,62841.3%
- #13OpenAIGPT-5.6 Sol30.6%$9,619—
- #14AnthropicClaude Opus 5.538.2%$9,23521.3%
- #15OpenAIGPT-6.1 Terra—$9,107—
- #16SpaceXSIGrok 4.6—$9,047—
- #17Z.aiGLM 5.220.4%$8,314—
- #18Z.aiGLM 5.3—$8,164—
- #19AnthropicClaude Opus 4.6—$8,0184.2%
- #20OpenAIGPT-5.526.6%$7,5246.3%
- #21OpenAIGPT-5.6 Terra28.0%$7,343—
- #22AnthropicClaude Sonnet 4.6—$7,204—
- #23MetaMuse Spark 1.1—$6,520—
- #24AnthropicClaude Sonnet 5—$6,378—
- #25Moonshot AIKimi K2.69.2%$6,205—
- #26OpenAIGPT-5.420.5%$6,144—
- #27AnthropicClaude Opus 4.827.0%$5,7878.3%
- #28AnthropicClaude Fable 5추론 강도: High—$5,68016.1%
- #29Z.aiGLM-5.111.5%$5,634—
- #30AnthropicClaude Fable 5.1—$5,42217.9%
- #31GoogleGemini 3.5 Flash—$5,396—
- #32Moonshot AIKimi K328.3%$5,165—
- #33AlibabaQwen3.6 Plus8.6%$5,115—
- #34GoogleGemini 3.8 Flash—$5,0945.8%
- #35Moonshot AIKimi K2.7 Code—$5,083—
- #36AnthropicClaude Opus 4.5—$4,9673.8%
- #37SpaceXSIGrok 4.20 (Reasoning)—$4,663—
- #38Z.aiGLM-5—$4,432—
- #39AlibabaQwen3.6 Max—$4,254—
- #40OpenAIGPT-5.6 Luna30.3%$4,095—
- #41SpaceXSIGrok 4.527.0%$3,887—
- #42AnthropicClaude Sonnet 4.5—$3,8392.1%
- #43GoogleGemini 3.1 Pro16.4%$3,774—
- #44GoogleGemini 3 Flash—$3,635—
- #45AnthropicClaude Haiku 5.5—$3,602—
- #46DeepSeekDeepSeek V4 Pro12.4%$3,285—
- #47MiniMaxMiniMax M3—$2,158—
- #48Moonshot AIKimi K2.5—$1,198—
- #49SpaceXSIGrok 4.1 Fast (Reasoning)—$1,107—
- #50GoogleGemini 2.5 Pro—$574—
- #51GoogleGemini 2.5 Flash—$549—
- #52AnthropicClaude Haiku 4.5—$459—
- #53SpaceXSIGrok 4.37.2%$35—
- #54AlibabaQwen3.5 Plus—$1—
- #55OpenAIGPT OSS 120B—−$22—
- #56MiniMaxMiniMax M2.5—−$23—
- #57OpenAIGPT-5 Mini—−$31—
모델 절반이 $5,634 이하
"작업 도구"는 AI가 과제를 풀 때 함께 쓴 실행 환경(에이전트 프로그램)입니다. 같은 모델이라도 작업 도구와 추론 강도에 따라 점수가 크게 달라질 수 있습니다.