DeepSeek V4 Pro、Fireworks評価で首位

DeepSeek V4 Pro、Fireworks評価で首位
2026年9月21日 月曜日
  • •DeepSeek V4 Pro 0813はSWE-Bench Verifiedで95.2%、LiveCodeBench v6で92.0%を記録した
  • •FireworksはDeepSeek V4 ProのSWE-Bench解決タスク単価を$0.309、Fable 5を$0.808と測定した
  • •DeepSeek V4 ProとFable 5のオラクルルーティングは92.4%、タスク単価$0.279に達した

Fireworksは8/26/2026、DeepSeek V4 Pro 0813が同社のSWE-Bench VerifiedとLiveCodeBench v6の実行で首位となり、解決タスクあたりのコストでもFable 5を下回ったと発表した。Fireworksは前週、サーバーレスエンドポイント、専用デプロイ、訓練サポート付きでDeepSeekを同社プラットフォーム上で利用可能にした。DeepSeek V4 Proは1Mトークンのコンテキストウィンドウ、ネイティブなツール呼び出し、長期的なエージェント型作業向けの推論履歴保持を備える。

Fireworksは、7月にKimi K3へ使ったものと同じ評価スイートで、DeepSeek V4 Pro 0813をKimi K3、Fable 5と比較した。対象はSWE-Bench Verified、LiveCodeBench v6、Aider Polyglot v1、Terminal-Bench 2.1だった。DeepSeek V4 ProはSWE-Bench Verified (500)で95.2%を記録し、Kimi K3の92.6%、Fable 5の85.4%を上回った。LiveCodeBench v6 (100)では92.0%で、Kimi K3の88.0%、Fable 5の91.0%を超えた。Aider Polyglot (225)はFable 5が88.0%で首位となり、Kimi K3は76.4%、DeepSeek V4 Proは73.8%だった。Terminal-Bench 2.1 (89)ではKimi K3が80.9%、DeepSeek V4 ProとFable 5はいずれも76.4%だった。

Fireworksのテストでは、標準的なコード課題におけるDeepSeek V4 Proの解決タスク単価が低かった。SWE-BenchではDeepSeek V4 Proが$0.309、Fable 5が$0.808だった。LiveCodeBenchではDeepSeek V4 Proが$0.040、Fable 5が$0.225だった。Terminal-BenchではFable 5がDeepSeek V4 Proと同じスコアに達したが、複数回の試行が必要となり、タスクコストは$16.85に上がった。初回試行のみの基準では、Fable 5のスコアは74.2%、タスク単価は$75.40だった。

Fireworksは、DeepSeek V4 Proが多言語対応の広がりで弱かったとした。Aider PolyglotではRustで90.0%、C++で80.8%に達した一方、最大区分で47タスクを占めるJavaでは48.9%に落ちた。Fable 5のJavaスコアは74.5%だった。Fireworksは、Java性能がAider Polyglotでの差のほぼ全体を説明するとし、Javaの比重が大きいコードベースでは単一モデル構成ではなく複数モデルが必要になる可能性があると述べた。

Fireworksは、DeepSeek V4 ProとFable 5の間で、タスクごとに優れたモデルを事後的に選び、同点の場合は低コスト側を選ぶオラクルルーティングをテストした。409タスクの統合コホートでは、ルーティングが92.4%に達し、Fable 5単独の86.6%を5.9ポイント上回った。タスク単価は$0.279で、Fable 5の$4.510を下回った。Fireworksは、このルーティング構成が16 times cheaperで、86.3%のタスクをDeepSeek V4 Proへ送ったと述べた。同社は、オラクルルーティングは事後計算された上限であり、現時点で導入可能なポリシーではないと注意を促した。

Fireworksは、DeepSeek V4 Proを含むすべての組み合わせが、対応するKimi K3の組み合わせを上回ったと述べた。LiveCodeBenchは94.0%対92.0%、Aiderは93.3%対91.6%、統合コホートは92.5%対91.1%だった。Fireworksは、Kimi K3がCyberGymでより高いスコアを出したにもかかわらず、Fable 5が失敗したタスクでDeepSeek V4 Proが成功したため、DeepSeek V4 Proの方が優れたルーティング相手だったとした。

Fireworksは、DeepSeek V4 Proの訓練がSFT、DPO、RFT対応で稼働しており、ファインチューニング済みチェックポイントを訓練後に本番環境へデプロイできるとも述べた。同社によると、DeepSeek自身のベンチマーク実行は、モデルアダプターと実行を処理するネイティブなエージェント実行基盤であるDeepSeek Harnessを使っている。Fireworksは、bashとエディターツールから始める最小構成が、標準カタログ全体から始めるより一貫したツール呼び出しを生んだとした。840件の追跡済み敵対的セキュリティ実行全体で、FireworksはDeepSeek V4 Proの拒否がゼロ、出力長による切り詰めもゼロだったと報告した。

AIBニュースレターを購読

最も速く正確なAIニュースをメールでいかがですか?

この記事に関連する企業情報