DeepSeek V4 Pro, 코딩 평가 선두
- •DeepSeek V4 Pro 0813은 SWE-Bench Verified 95.2%, LiveCodeBench v6 92.0%를 기록했다
- •Fireworks는 DeepSeek V4 Pro의 SWE-Bench 해결 비용을 $0.309로, Fable 5의 $0.808보다 낮게 측정했다
- •DeepSeek V4 Pro와 Fable 5의 오라클 라우팅은 92.4%, 작업당 $0.279를 기록했다
Fireworks는 8/26/2026 DeepSeek V4 Pro 0813이 SWE-Bench Verified와 LiveCodeBench v6 실행에서 선두를 차지했고, 해결된 작업당 비용도 Fable 5보다 낮았다고 밝혔다. Fireworks는 전주 자사 플랫폼에서 DeepSeek을 활성화했으며, 서버리스 엔드포인트, 전용 배포, 학습 지원을 제공했다. 이 모델은 1M-token 컨텍스트 창, 네이티브 도구 호출, 장기 에이전트형 작업을 위한 추론 기록 보존을 제공한다.
Fireworks는 7월 Kimi K3 평가에 사용했던 같은 평가 제품군으로 DeepSeek V4 Pro 0813을 Kimi K3, Fable 5와 비교했다. 평가 대상은 SWE-Bench Verified, LiveCodeBench v6, Aider Polyglot v1, Terminal-Bench 2.1이었다. DeepSeek V4 Pro는 SWE-Bench Verified (500)에서 95.2%를 기록해 Kimi K3 92.6%, Fable 5 85.4%를 앞섰다. LiveCodeBench v6 (100)에서는 92.0%로 Kimi K3 88.0%, Fable 5 91.0%보다 높았다. Aider Polyglot (225)에서는 Fable 5가 88.0%로 앞섰고, Kimi K3는 76.4%, DeepSeek V4 Pro는 73.8%였다. Terminal-Bench 2.1 (89)에서는 Kimi K3가 80.9%였고, DeepSeek V4 Pro와 Fable 5는 모두 76.4%를 기록했다.
Fireworks 테스트에서 DeepSeek V4 Pro는 표준 코드 작업의 해결된 작업당 비용이 더 낮았다. SWE-Bench에서는 해결 작업당 $0.309로, Fable 5의 $0.808보다 낮았다. LiveCodeBench에서는 $0.040였고 Fable 5는 $0.225였다. Terminal-Bench에서는 Fable 5가 DeepSeek V4 Pro와 같은 점수를 냈지만 여러 차례 시도가 필요해 작업 비용이 $16.85로 올라갔다. 첫 시도 기준선에서는 Fable 5가 74.2%를 기록했고 작업당 비용은 $75.40까지 상승했다.
Fireworks는 DeepSeek V4 Pro가 다중 언어 폭에서는 약했다고 밝혔다. Aider Polyglot에서 이 모델은 Rust 90.0%, C++ 80.8%를 기록했지만, 47개 작업으로 가장 큰 비중을 차지한 Java에서는 48.9%로 떨어졌다. 반면 Fable 5는 Java에서 74.5%를 기록했다. Fireworks는 Java 성능이 Aider Polyglot 격차의 거의 전부를 설명한다며, Java 비중이 큰 코드베이스에는 단일 모델 구성이 아니라 여러 모델이 필요할 수 있다고 주장했다.
Fireworks는 DeepSeek V4 Pro와 Fable 5 사이에서 작업별로 더 나은 모델을 고르고 동률이면 더 낮은 비용을 택하는 오라클 라우팅을 테스트했다. 409개 작업을 합친 코호트에서 라우팅은 92.4%를 기록해 Fable 5 단독 86.6%보다 높았고, 이는 5.9-point 상승이었다. 비용은 작업당 $0.279로 Fable 5의 $4.510보다 낮았다. Fireworks는 라우팅 구성이 16 times cheaper였고 작업의 86.3%를 DeepSeek V4 Pro로 보냈다고 밝혔다. 다만 오라클 라우팅은 사후 계산된 상한선이며, 현재 배포 가능한 정책은 아니라고 설명했다.
Fireworks는 모든 DeepSeek V4 Pro 페어링이 대응되는 Kimi K3 페어링을 앞섰다고 밝혔다. LiveCodeBench는 94.0% 대 92.0%, Aider는 93.3% 대 91.6%, 결합 코호트는 92.5% 대 91.1%였다. Fireworks는 Kimi K3가 CyberGym에서 더 높은 점수를 냈음에도 DeepSeek V4 Pro가 Fable 5가 놓친 작업에서 이겼기 때문에 Kimi K3보다 더 나은 라우팅 파트너였다고 설명했다.
Fireworks는 DeepSeek V4 Pro 학습이 SFT, DPO, RFT 지원과 함께 가동 중이며, 파인튜닝된 체크포인트를 학습 뒤 프로덕션에 배포할 수 있다고 밝혔다. 회사는 DeepSeek 자체 벤치마크 실행이 모델 어댑터와 실행을 처리하는 네이티브 에이전트 런타임(에이전트 행동용 소프트웨어 루프)인 DeepSeek Harness를 사용한다고 설명했다. Fireworks는 bash와 편집기 도구를 쓰는 최소 우선 구성이 전체 표준 카탈로그로 시작하는 방식보다 더 일관된 도구 호출을 만들었다고 밝혔다. 또한 840건의 추적된 적대적 보안 실행에서 DeepSeek V4 Pro는 거부 0건, 출력 길이 절단 0건을 기록했다고 덧붙였다.
가장 빠르고 정확한 AI 소식, 이메일로 받아보세요