METR、AnthropicのAI開発加速を指摘
- •METRによると、Anthropicは明確に定義されたタスクへの対応能力を、1年前の約2倍の速さで向上させています。
- •社内データの約11週間分と従業員への聞き取りから、AIによる支援が加速の大部分を促した可能性が高いと判断しました。
- •計算能力やデータのボトルネックは見つからず、METRはAIによる自己改善の加速が安全性に影響すると警告しました。
独立評価団体METRは木曜日、Anthropicが明確に定義されたタスクをこなすAIシステムの能力を、1年前の約2倍の速さで向上させていると発表しました。Anthropicの招待を受け、社内データの確認と従業員への聞き取りを行った非営利団体のMETRは、開発の加速の大部分に、AIがAI開発を支援していることが関係すると分析しました。CEOのダリオ・アモデイが安全対策が追いつくよう業界にモデル改善の減速を求める一方、同社は今月後半に予定する株式公開の準備を進めています。
METRの報告書は、8月中旬から10月下旬までの約11週間に集められた社内データ、従業員への聞き取り、8月に公表されたAnthropicのリスク報告書とその非公開版、その他の非公開資料に基づいています。METRは、公表版の報告書では加速の程度が過小評価されていたと述べました。Anthropicが調査結果の一部を伏せたため、METRは詳しい推定値を公表できませんでした。共同創業者のサム・マッキャンドリッシュは、伏せられた情報によって調査の検証が難しくなる一方、加速の要因を明らかにすれば、商業上機密性の高い情報が漏れ、他社が開発を加速する手がかりにもなり得ると説明しました。また、METRの結論の多くは自身の見解と一致するとしたうえで、AIが研究をどれほど速めているかを正確に測るのは難しいと述べました。
METRは、加速が明確に定義されたタスクに限られる可能性があるため、調査結果を過大評価しているおそれもあるとしています。モデルの訓練に使う計算能力の増加が原因ではないと判断し、研究者らはAI自体がAIの改善を助けている可能性を考えました。計算能力やデータの不足など、Anthropicの進展を妨げるボトルネックは見つかりませんでした。報告書によると、AIはまだモデル訓練の最重要部分に大きく寄与する完全自律的な作業はできませんが、Anthropicの研究者は、近いうちに実現する可能性を示す兆候を挙げました。METRは、AIの支援による自己改善が進めば加速が重なり、先進モデルのリスクが高まる速度にも影響するため、安全性に関わると警告しました。
METRは長年、AnthropicやOpenAIなどの研究所でモデルの能力を評価してきました。寄付で運営され、評価業務への報酬は受け取らないと説明していますが、評価対象の企業は評価や研究、開発に使うアクセス権とトークンを提供しています。Anthropicは、最先端AIの開発ペースを管理する取り組みの一環として外部評価者を歓迎すると述べました。アモデイは9月12日の論考で開発の減速を求め、最先端の研究所へのアクセスを持つ外部評価者を支持し、METRの名を挙げました。OpenAIのCEO、サム・アルトマンも、従業員に近いアクセス権を持つ独立評価者への支持を表明しました。記事によると、Anthropicは今月後半の株式公開を計画しており、実現すれば史上最大の新規株式公開となる可能性があります。