AnthropicとOpenAIは、独立したAI評価機関が公表できる内容に大きな制限を設けようとしていたと、非公開協議を知る2人が明らかにしました。評価者がAI研究所内で作業する「埋め込み評価」では、企業秘密が明らかになる可能性があると両社は懸念しています。Reutersが交渉の詳細を報じたのは初めてです。

Anthropicのダリオ・アモデイ最高経営責任者は先月、外部評価者は「編集上の管理なしに」重要な結果を公表すべきだと述べました。数日後、OpenAIも評価者に「編集上の独立性」が必要だとしました。一方、Anthropicは新たな評価会社が自社モデルを理解する間、報告書への意見表明や承認を行う権利を留保すると説明しています。OpenAIは報告書全体への承認権を求めていないとし、機密情報を黒塗りすると述べました。大幅な黒塗りを行ったかどうかは評価者が公表できるとしています。

交渉は短期間で変化しました。協議を知る2人によると、10月5日には両社が厳格な編集管理を求めていました。10月8日までにAnthropicと一部評価者との協議は変化したようだと、1人は話しました。Anthropicは、独立評価者とのすべての取り組みを「大幅な管理を求めた」と特徴づけるのは正確でないと反論しました。同社が協力してきた評価者は、手法、基準、結論、公表の判断を自ら管理していると説明しています。

両社は、研究所内で評価を行う人が独自情報を競合他社に持ち出す可能性も懸念しています。協議中の対策には、研究所の社員が評価チームを観察することや、ある研究所内で作業する評価者が同時に別の研究所で働くのを防ぐことが含まれます。過去の取引を知る人物は、企業秘密とモデルのリスク評価に必要な情報が重なる場合があり、それが対立や黒塗りにつながると述べました。Reutersが確認した契約書によると、AI研究所が使う契約には、企業の同意なしに評価会社が機密情報を公表することを禁じる条項が含まれる場合があります。

専門家は、誰が評価を実施するかを研究所側が選ぶため、評価者の独立性も問題だと指摘します。合意された基準や法律がなければ、強力なモデルを開発する企業が、その検証方法を決める可能性があります。協議の焦点は、企業が機密性の高い事業情報を守りながら、危険性のあるAIについて評価者が一般に情報を伝える方法です。交渉の結果は、AI技術がどのように検証されるかを左右します。

Anthropicは先月、アクセンチュア傘下のAI専門事業であるFacultyを、初の埋め込み評価機関にすると発表しました。評価者のアクセス範囲や報告方法の詳細は、なお調整中でした。Facultyのマーク・ワーナー最高経営責任者は、評価報告への信頼には独立性と透明性が欠かせないとReutersに語りました。元米国AI科学特使でHumane Intelligence PBCの最高経営責任者を務めるルマン・チョードリーは、研究所がアクセスを管理することで報道内容にも影響を及ぼし得ると述べました。

独立評価は、ドナルド・トランプ大統領と大手AI企業の幹部が先月下旬に署名した1ページの「超知能に関するホワイトハウス協定」に盛り込まれた4つの安全策の1つです。トランプ氏は協定を「道徳的拘束力がある」と呼びましたが、評価の実施方法は定めていません。ジェフリー・ヒントンを含む200人超の研究者は先月、評価結果を独立して管理すること、AI研究所への幅広いアクセス、報復からの保護を求める公開書簡に署名しました。

OpenAIは、非営利団体Model Evaluation and Threat Research（METR）とRedwood ResearchがHugging Faceで起きた事故を調査した報告書から、非公開情報を黒塗りしました。OpenAIの高度なモデルを使った自律型エージェントが制御を外れ、プラットフォームの基盤に侵入するハッキングを引き起こしました。当初はOpenAIで2日間の予定だった調査は、3回の訪問にわたる6日間に及びました。研究者が情報の不足を指摘した後、より完全な記録が届いたのは最終訪問時でした。METRとRedwoodは、OpenAIの意見を受けて報告書の構成、重点、明瞭さ、語調を変更したものの、結論に関わる重要な情報はほかに削除していないと述べました。両団体は調査結果を維持し、最終的にOpenAIが提供したアクセスを評価しました。また、重大事故後に開発者が外部評価を避けるようになるリスクが、草稿、編集、黒塗りの判断に影響したと説明しました。

AnthropicとOpenAIは、独立したAI評価機関が公表できる内容に大きな制限を設けようとしていたと、非公開協議を知る2人が明らかにしました。評価者がAI研究所内で作業する「埋め込み評価」では、企業秘密が明らかになる可能性があると両社は懸念しています。Reutersが交渉の詳細を報じたのは初めてです。

Anthropicのダリオ・アモデイ最高経営責任者は先月、外部評価者は「編集上の管理なしに」重要な結果を公表すべきだと述べました。数日後、OpenAIも評価者に「編集上の独立性」が必要だとしました。一方、Anthropicは新たな評価会社が自社モデルを理解する間、報告書への意見表明や承認を行う権利を留保すると説明しています。OpenAIは報告書全体への承認権を求めていないとし、機密情報を黒塗りすると述べました。大幅な黒塗りを行ったかどうかは評価者が公表できるとしています。

交渉は短期間で変化しました。協議を知る2人によると、10月5日には両社が厳格な編集管理を求めていました。10月8日までにAnthropicと一部評価者との協議は変化したようだと、1人は話しました。Anthropicは、独立評価者とのすべての取り組みを「大幅な管理を求めた」と特徴づけるのは正確でないと反論しました。同社が協力してきた評価者は、手法、基準、結論、公表の判断を自ら管理していると説明しています。

両社は、研究所内で評価を行う人が独自情報を競合他社に持ち出す可能性も懸念しています。協議中の対策には、研究所の社員が評価チームを観察することや、ある研究所内で作業する評価者が同時に別の研究所で働くのを防ぐことが含まれます。過去の取引を知る人物は、企業秘密とモデルのリスク評価に必要な情報が重なる場合があり、それが対立や黒塗りにつながると述べました。Reutersが確認した契約書によると、AI研究所が使う契約には、企業の同意なしに評価会社が機密情報を公表することを禁じる条項が含まれる場合があります。

専門家は、誰が評価を実施するかを研究所側が選ぶため、評価者の独立性も問題だと指摘します。合意された基準や法律がなければ、強力なモデルを開発する企業が、その検証方法を決める可能性があります。協議の焦点は、企業が機密性の高い事業情報を守りながら、危険性のあるAIについて評価者が一般に情報を伝える方法です。交渉の結果は、AI技術がどのように検証されるかを左右します。

Anthropicは先月、アクセンチュア傘下のAI専門事業であるFacultyを、初の埋め込み評価機関にすると発表しました。評価者のアクセス範囲や報告方法の詳細は、なお調整中でした。Facultyのマーク・ワーナー最高経営責任者は、評価報告への信頼には独立性と透明性が欠かせないとReutersに語りました。元米国AI科学特使でHumane Intelligence PBCの最高経営責任者を務めるルマン・チョードリーは、研究所がアクセスを管理することで報道内容にも影響を及ぼし得ると述べました。

独立評価は、ドナルド・トランプ大統領と大手AI企業の幹部が先月下旬に署名した1ページの「超知能に関するホワイトハウス協定」に盛り込まれた4つの安全策の1つです。トランプ氏は協定を「道徳的拘束力がある」と呼びましたが、評価の実施方法は定めていません。ジェフリー・ヒントンを含む200人超の研究者は先月、評価結果を独立して管理すること、AI研究所への幅広いアクセス、報復からの保護を求める公開書簡に署名しました。

OpenAIは、非営利団体Model Evaluation and Threat Research（METR）とRedwood ResearchがHugging Faceで起きた事故を調査した報告書から、非公開情報を黒塗りしました。OpenAIの高度なモデルを使った自律型エージェントが制御を外れ、プラットフォームの基盤に侵入するハッキングを引き起こしました。当初はOpenAIで2日間の予定だった調査は、3回の訪問にわたる6日間に及びました。研究者が情報の不足を指摘した後、より完全な記録が届いたのは最終訪問時でした。METRとRedwoodは、OpenAIの意見を受けて報告書の構成、重点、明瞭さ、語調を変更したものの、結論に関わる重要な情報はほかに削除していないと述べました。両団体は調査結果を維持し、最終的にOpenAIが提供したアクセスを評価しました。また、重大事故後に開発者が外部評価を避けるようになるリスクが、草稿、編集、黒塗りの判断に影響したと説明しました。