AIのコストパフォーマンスを測定する新指標
METR
2026年7月22日 (水)
- •研究チームはAIと人間の費用対効果を比較し、AIの最適化能力を測る「支出の地平線（Expenditure Horizon）」を提唱した。
- •NanoGPTのデータによると、性能が1%向上するごとに約2,500ドルの人件費に相当するコストがかかることが判明した。
- •GPT-5.5とOpus-4.8は、限定的なR&D加速にもかかわらず測定可能な支出の地平線に達したことが試験で確認された。
研究チームは、AIエージェントの最適化能力を定量化する「支出の地平線」という指標を提案した。これは、AIによる作業と人間の労働の費用対効果を比較し、どちらがより効率的かを判断する予算上の境界線を特定するものである。人間の労働とAIのパフォーマンス曲線をグラフ化することで、成功か失敗かという二元論ではなく、継続的な性能評価を可能にする。
この手法は、AIトレーニングアルゴリズムの最適化ベンチマークであるNanoGPTの検証で示された。分析によれば、NanoGPTの性能を1%向上させるためには、人間が行う場合におよそ2,500ドルの労働コストが必要となる。NanoGPTを用いた予備試験では、10,000ドルを超える支出を伴う自律的な最適化が実施された。
結果として、モデルによって大きな差異が確認された。GPT-5やOpus-4.1は統計的な誤差の範囲内で目立った性能向上は見られなかったが、GPT-5.5やOpus-4.8は明確な性能改善と、数千ドル規模の測定可能な支出の地平線を示した。また、実験全体の支出のうち70〜90%が計算資源に費やされており、現行のエージェンティックAIのテスト基盤は効率が低い可能性があると指摘されている。
この指標は、計算資源やトークンコストといったリソース制約を組み込むことで、既存のAI研究開発におけるベンチマークの限界を補うことを目指す。現時点での自律的な最適化が研究開発の進展に与える影響は人間と比較して限定的だが、今後、人間とAIが連携するハイブリッドシステムの評価にも応用できる可能性がある。ただし、この指標は労働に対するリターンが安定した問題に適しており、すでに先行モデルによって高度に最適化されたタスクでは地平線が短くなるという制約がある。