DeepSeekがツールコーリングでOpus 4.7を上回る性能を記録
twitter.com2026年7月9日 (木)
- •アーマッド・アワイス(Ahmad Awais)は、DeepSeekがツールコーリングのベンチマークにおいてOpus 4.7を上回ったと主張した。
- •オープンモデルにおけるツールコーリング性能の低さは、モデル自体の欠陥ではなく評価手法の不備に起因すると指摘された。
- •今回の分析は、オープンソースのAIコマンドラインインターフェースであるCommandCodeAIを用い、数十億トークンのレビューを通じて実施された。
エンジニアのアーマッド・アワイス(Ahmad Awais)はXを通じて、DeepSeekがツールコーリング性能においてOpus 4.7を凌駕したことを明らかにした。彼は、オープンソースモデルがツールコーリングにおいて本質的に劣っているという通説は、モデル自体の限界ではなく、評価用ハーネス（テスト用枠組み）の不備が招いた結果であると強調した。
アワイスはこの結論に至るまで、2日間をかけてオープンソースのAIコマンドラインインターフェースであるCommandCodeAIを使用して数十億トークンの解析を行った。この分析結果は、Hacker Newsにおいて31ポイントを獲得し、7件のコメントが寄せられるなど注目を集めた。