METR、AnthropicでAI進歩の加速を推定

METRのスタッフは2026年8月12日から10月29日までAnthropicで詳細な評価を行い、AIがAIの研究開発をどれほど加速させているかを推定しました。METRによると、Anthropicは事前学習、強化学習、計算資源、モデルのベンチマークスコア、AIによる高速化の分析や予測に関する社内指標を提供し、スタッフへの聞き取りも認めました。Anthropicは非公開情報を編集でき、METRがリスク判断に最も有用とみなした証拠の過半を削除しました。METRは、削除された証拠をめぐる不確実性により、一般の人々が調査結果を独立に評価しにくくなっているとしています。

評価に参加したMETRスタッフの大半は、2026年10月時点で、Anthropicが明確に定義された課題におけるモデルの能力を、2024年3月から2025年10月までに記録された速度の約2倍で向上させていると考えています。実際の速度は1.3倍に近い可能性も3倍の可能性もあり、より幅広い課題にも同じ変化が当てはまるかは確度が低いとMETRは述べています。社内ベンチマーク指標AECIの分析では、伸びる速度は2025年10月以前の1.9倍で、95％信頼区間は1.5～2.8倍でした。METRは、ベンチマークの手法や過学習が推定に影響する可能性を指摘しています。

METRは、学習用計算量の伸びが速まったことが加速の原因ではないと示す有力な証拠を確認しました。一方、ほかの原因について決定的な証拠は得られず、2025年後半の加速にはAI以外の要因も影響した可能性が高いとしています。2026年10月の加速のうち、おそらく80％はAIの利用によるものと推定しましたが、大きな不確実性が残ると強調しました。研究者への聞き取りや調査は進歩がおおむね2倍になったとの見方と一致しました。AIによる高速化についてスタッフが自己申告した値は2026年10月に12倍に達しましたが、METRはこうした調査を大まかな証拠と位置付けています。

報告書によると、Anthropicの研究者はAIが研究開発を支援していると説明しましたが、モデル訓練の重要な部分を完全自律で担う貢献は、まだ大きくありませんでした。自律的な貢献が近く実現する兆候も報告され、成熟度は分野によって異なります。METRは、今後12か月の進歩を制約するアルゴリズムの進歩、訓練用計算量、実験用計算量、データのボトルネックについて、説得力のある証拠を見つけませんでした。ただし、評価中に見解が変わっており、理解には不確実性が残るとしています。能力のさらなる向上がAI研究をいっそう加速させる可能性を警告する一方、加速の過小評価は自動化の進展を見落とす危険があり、過大評価にはAI以外の要因や、検証可能な課題を重視するAECIの性質が影響すると指摘しました。

METRのスタッフは2026年8月12日から10月29日までAnthropicで詳細な評価を行い、AIがAIの研究開発をどれほど加速させているかを推定しました。METRによると、Anthropicは事前学習、強化学習、計算資源、モデルのベンチマークスコア、AIによる高速化の分析や予測に関する社内指標を提供し、スタッフへの聞き取りも認めました。Anthropicは非公開情報を編集でき、METRがリスク判断に最も有用とみなした証拠の過半を削除しました。METRは、削除された証拠をめぐる不確実性により、一般の人々が調査結果を独立に評価しにくくなっているとしています。

評価に参加したMETRスタッフの大半は、2026年10月時点で、Anthropicが明確に定義された課題におけるモデルの能力を、2024年3月から2025年10月までに記録された速度の約2倍で向上させていると考えています。実際の速度は1.3倍に近い可能性も3倍の可能性もあり、より幅広い課題にも同じ変化が当てはまるかは確度が低いとMETRは述べています。社内ベンチマーク指標AECIの分析では、伸びる速度は2025年10月以前の1.9倍で、95％信頼区間は1.5～2.8倍でした。METRは、ベンチマークの手法や過学習が推定に影響する可能性を指摘しています。

METRは、学習用計算量の伸びが速まったことが加速の原因ではないと示す有力な証拠を確認しました。一方、ほかの原因について決定的な証拠は得られず、2025年後半の加速にはAI以外の要因も影響した可能性が高いとしています。2026年10月の加速のうち、おそらく80％はAIの利用によるものと推定しましたが、大きな不確実性が残ると強調しました。研究者への聞き取りや調査は進歩がおおむね2倍になったとの見方と一致しました。AIによる高速化についてスタッフが自己申告した値は2026年10月に12倍に達しましたが、METRはこうした調査を大まかな証拠と位置付けています。

報告書によると、Anthropicの研究者はAIが研究開発を支援していると説明しましたが、モデル訓練の重要な部分を完全自律で担う貢献は、まだ大きくありませんでした。自律的な貢献が近く実現する兆候も報告され、成熟度は分野によって異なります。METRは、今後12か月の進歩を制約するアルゴリズムの進歩、訓練用計算量、実験用計算量、データのボトルネックについて、説得力のある証拠を見つけませんでした。ただし、評価中に見解が変わっており、理解には不確実性が残るとしています。能力のさらなる向上がAI研究をいっそう加速させる可能性を警告する一方、加速の過小評価は自動化の進展を見落とす危険があり、過大評価にはAI以外の要因や、検証可能な課題を重視するAECIの性質が影響すると指摘しました。