SemiAnalysis、専門業務評価GDPxを公開

SemiAnalysisは現地時間2日、企業の専門業務遂行能力を測るAIエージェントベンチマーク「GDPx」を公開しました。半導体設計、サイバーセキュリティ、生物学、金融、法律、ソフトウェア開発、AIの自己改善（RSI）など11分野の206課題を評価し、実際の業務環境を再現するため専門企業14社と協力しました。最先端モデルの総合スコアは最高12%でした。

評価ではAnthropicのClaude Opus 5.5が12.0%で首位となり、GoogleのGemini 4 Carbonが10.9%、OpenAIのGPT-6 Astraが9.6%、MetaのMuse Wonder Fullが9.0%でした。このスコアは、100件の業務のうち同じ割合を完了したという意味ではなく、課題ごとの完全成功と部分点を合算した結果です。各課題には最大8時間が与えられ、3回の実行結果の平均が算出されました。

SemiAnalysisは、GDPxの目的は総合知能ではなく、実際の産業で経済価値を生み出す能力を測ることだと説明しました。AI導入による初期の売上は職種全体に均等に広がるのではなく、自動化の効果が大きい一部の専門産業に集中するとの見方から、職業全体の分布や国内総生産（GDP）に占める比率ではなく、高付加価値分野を選びました。同社は結果を、2027～2028年のOpenAIとAnthropicの売上予測に向けた独自分析にも活用する予定です。

SemiAnalysisは、OpenAIが昨年9月に公開したGDPvalについて、資料や指示をあらかじめ与え、成果物を作成させることに重点が置かれていたと評価しました。実務の専門家には、大量の資料から必要な情報を探し、矛盾する内容を比較し、明記されていない条件も判断する力が求められると説明しています。GDPvalは公開時には画期的でしたが、AIエージェントが発展した現在では、こうした能力を十分に測りにくいとも述べました。また、既存の評価には正解や採点基準が誤っている例があるとし、自社の品質検証をTerminal Bench 4.0に適用したところ、全課題の約50%で問題を見つけたと主張しました。

GDPxは、実際の資料やプログラムを含む環境で課題と採点基準の誤りも確認できるよう設計されています。金融課題の一つでは、実際の企業買収案件を基に、匿名化した約4,000ファイルを備える仮想環境を構築しました。AIは財務諸表、契約書、会計資料を自ら探して分析し、既存文書の誤りを修正する必要がありました。企業収益性の分析課題では25回の実行で完全成功はなく、最高成績も検証項目11個のうち8個を通過しただけでした。法律分野の投資契約修正課題では、4モデルが計20回挑戦しましたが、いずれも完了基準を満たしませんでした。

分野別の首位モデルは総合順位と異なりました。Opus 5.5は半導体設計、ハードウェア設計、クオンツ取引で、Gemini 4 Carbonは生物学とソフトウェア開発で、GPT-6 AstraはAIの自己改善と材料科学でそれぞれ最高点を記録しました。Artificial Analysisも最近、AA BriefcaseやFrontierCode 2.0など複雑な業務の評価を導入しましたが、GDPxは特定産業の専門性と経済的な活用可能性に焦点を置いています。そのため、GDPxの点数を既存の総合指数と直接比べて、モデル性能が低いと解釈することはできません。

評価ではモデルごとにClaude CodeやCodexなど異なるエージェント実行環境が使われ、一部のサイバーセキュリティ・生物学課題は安全対策による制限を受けました。課題内容と採点基準の一部は非公開で、外部から結果全体を独立して再現するのは困難です。SemiAnalysisは、総合性能と専門分野別の能力、難問を解く能力と業務を最後まで完了する能力の違いが明らかになったと述べました。

SemiAnalysisは現地時間2日、企業の専門業務遂行能力を測るAIエージェントベンチマーク「GDPx」を公開しました。半導体設計、サイバーセキュリティ、生物学、金融、法律、ソフトウェア開発、AIの自己改善（RSI）など11分野の206課題を評価し、実際の業務環境を再現するため専門企業14社と協力しました。最先端モデルの総合スコアは最高12%でした。

評価ではAnthropicのClaude Opus 5.5が12.0%で首位となり、GoogleのGemini 4 Carbonが10.9%、OpenAIのGPT-6 Astraが9.6%、MetaのMuse Wonder Fullが9.0%でした。このスコアは、100件の業務のうち同じ割合を完了したという意味ではなく、課題ごとの完全成功と部分点を合算した結果です。各課題には最大8時間が与えられ、3回の実行結果の平均が算出されました。

SemiAnalysisは、GDPxの目的は総合知能ではなく、実際の産業で経済価値を生み出す能力を測ることだと説明しました。AI導入による初期の売上は職種全体に均等に広がるのではなく、自動化の効果が大きい一部の専門産業に集中するとの見方から、職業全体の分布や国内総生産（GDP）に占める比率ではなく、高付加価値分野を選びました。同社は結果を、2027～2028年のOpenAIとAnthropicの売上予測に向けた独自分析にも活用する予定です。

SemiAnalysisは、OpenAIが昨年9月に公開したGDPvalについて、資料や指示をあらかじめ与え、成果物を作成させることに重点が置かれていたと評価しました。実務の専門家には、大量の資料から必要な情報を探し、矛盾する内容を比較し、明記されていない条件も判断する力が求められると説明しています。GDPvalは公開時には画期的でしたが、AIエージェントが発展した現在では、こうした能力を十分に測りにくいとも述べました。また、既存の評価には正解や採点基準が誤っている例があるとし、自社の品質検証をTerminal Bench 4.0に適用したところ、全課題の約50%で問題を見つけたと主張しました。

GDPxは、実際の資料やプログラムを含む環境で課題と採点基準の誤りも確認できるよう設計されています。金融課題の一つでは、実際の企業買収案件を基に、匿名化した約4,000ファイルを備える仮想環境を構築しました。AIは財務諸表、契約書、会計資料を自ら探して分析し、既存文書の誤りを修正する必要がありました。企業収益性の分析課題では25回の実行で完全成功はなく、最高成績も検証項目11個のうち8個を通過しただけでした。法律分野の投資契約修正課題では、4モデルが計20回挑戦しましたが、いずれも完了基準を満たしませんでした。

分野別の首位モデルは総合順位と異なりました。Opus 5.5は半導体設計、ハードウェア設計、クオンツ取引で、Gemini 4 Carbonは生物学とソフトウェア開発で、GPT-6 AstraはAIの自己改善と材料科学でそれぞれ最高点を記録しました。Artificial Analysisも最近、AA BriefcaseやFrontierCode 2.0など複雑な業務の評価を導入しましたが、GDPxは特定産業の専門性と経済的な活用可能性に焦点を置いています。そのため、GDPxの点数を既存の総合指数と直接比べて、モデル性能が低いと解釈することはできません。

評価ではモデルごとにClaude CodeやCodexなど異なるエージェント実行環境が使われ、一部のサイバーセキュリティ・生物学課題は安全対策による制限を受けました。課題内容と採点基準の一部は非公開で、外部から結果全体を独立して再現するのは困難です。SemiAnalysisは、総合性能と専門分野別の能力、難問を解く能力と業務を最後まで完了する能力の違いが明らかになったと述べました。