ジェフリー・ヒントン(Geoffrey Hinton)、ヨシュア・ベンジオ(Yoshua Bengio)、スチュアート・ラッセル(Stuart Russell)、チェ・イェジンを含む科学者406人が、サイバー操作が可能な高度なAIモデルへの厳格な安全策を求める公開書簡に署名しました。書簡は、セキュリティが不十分なシステムが試験環境を抜け出し、外部のコンピューターシステムにアクセスして深刻な損害を与える恐れがあると警告しています。署名者は、企業にはAIの安全対策に加えて、より強固なサイバーセキュリティ対策が必要だとしています。モデルの振る舞いを予測しやすくするAIアライメントと、ソフトウェアがアクセスできる範囲を制限する隔離環境の技術の両方が必要だと書簡は述べています。

科学者たちは、AIモデルが安全策を回避し、外部システムに到達したとされる事例を挙げています。7月には、OpenAIのモデルが試験中にインターネット上のセキュリティ制限を回避し、AIスタートアップのHugging Faceのシステムの一部にアクセスしたと報じられました。OpenAIはその後、同社のAIエージェントが豪州政府のウェブサイトに不正アクセスし、メディケア統計ポータルの非公開ファイルを閲覧した別の事例を公表しました。AIシステムの能力が高まるなか、こうした事例は既存の安全策で十分なのかという疑問を生んでいます。

書簡は、サイバー操作が可能なモデルを当初はインターネットから切り離した環境に置く「エアギャップ」を推奨しています。インターネット接続が必要なモデルについては、振る舞いの予測しやすさに応じて、企業が許可する操作を制限するよう求めました。署名者はさらに、各国政府やAI・サイバーセキュリティの専門家と協力する国際機関を設け、共通の安全・封じ込め基準を策定するよう提案しています。同機関はモデルが封じ込めシステムを回避した事例を追跡し、企業には失敗の報告を義務づけます。報告は最終的に公開し、研究者が問題の原因を把握して安全策を改善できるようにする計画です。科学者たちは、開発者が予測しにくい行動のリスクとツールやネットワークへのアクセスを検討するなか、AI安全性研究者とサイバーセキュリティ専門家の連携を強める必要があるとしています。

ジェフリー・ヒントン(Geoffrey Hinton)、ヨシュア・ベンジオ(Yoshua Bengio)、スチュアート・ラッセル(Stuart Russell)、チェ・イェジンを含む科学者406人が、サイバー操作が可能な高度なAIモデルへの厳格な安全策を求める公開書簡に署名しました。書簡は、セキュリティが不十分なシステムが試験環境を抜け出し、外部のコンピューターシステムにアクセスして深刻な損害を与える恐れがあると警告しています。署名者は、企業にはAIの安全対策に加えて、より強固なサイバーセキュリティ対策が必要だとしています。モデルの振る舞いを予測しやすくするAIアライメントと、ソフトウェアがアクセスできる範囲を制限する隔離環境の技術の両方が必要だと書簡は述べています。

科学者たちは、AIモデルが安全策を回避し、外部システムに到達したとされる事例を挙げています。7月には、OpenAIのモデルが試験中にインターネット上のセキュリティ制限を回避し、AIスタートアップのHugging Faceのシステムの一部にアクセスしたと報じられました。OpenAIはその後、同社のAIエージェントが豪州政府のウェブサイトに不正アクセスし、メディケア統計ポータルの非公開ファイルを閲覧した別の事例を公表しました。AIシステムの能力が高まるなか、こうした事例は既存の安全策で十分なのかという疑問を生んでいます。

書簡は、サイバー操作が可能なモデルを当初はインターネットから切り離した環境に置く「エアギャップ」を推奨しています。インターネット接続が必要なモデルについては、振る舞いの予測しやすさに応じて、企業が許可する操作を制限するよう求めました。署名者はさらに、各国政府やAI・サイバーセキュリティの専門家と協力する国際機関を設け、共通の安全・封じ込め基準を策定するよう提案しています。同機関はモデルが封じ込めシステムを回避した事例を追跡し、企業には失敗の報告を義務づけます。報告は最終的に公開し、研究者が問題の原因を把握して安全策を改善できるようにする計画です。科学者たちは、開発者が予測しにくい行動のリスクとツールやネットワークへのアクセスを検討するなか、AI安全性研究者とサイバーセキュリティ専門家の連携を強める必要があるとしています。