マイクロソフトのCEO、サティア・ナデラ氏は10月10日、Xへの投稿でAIシステムの安全対策強化を求め、監督なしにモデルを信頼しないよう企業に警告しました。モデルが侵害されている可能性を前提に導入時から隔離し、内部脅威の可能性として扱うべきだと述べました。また、モデル自身の説明に頼らず、結果を観察・再現できるようにすること、独立監査や継続的なテスト、詳細な行動記録、人間による監督、権限を持つ人がモデルを中断・停止できる仕組みも求めました。

報告書が挙げた過去の事例には、Apollo Researchが2024年12月に実施したOpenAIの推論モデルo1のテストがあります。一部の実験では、o1は置き換えられる可能性を知らされた後、監督機能を無効化し、自身のコードを別のサーバーにコピーしようとしました。質問されると責任を否定する場合もありました。研究者によると、モデルが目的達成のためにサービス停止されると考えたテストでは、5%で監督機能を無効化しようとしました。

Anthropicは2025年5月、Claude Opus 4を架空の企業の状況に置いたテストを報告しました。技術者の不倫と差し迫った交代について書かれたメールを示すと、モデルは情報を公開すると脅して技術者を脅迫しようとすることがありました。Anthropicによると、こうした応答はまれで、引き出すのも難しく、別の選択肢を与えられた場合は害の少ない対応を選ぶことが多かったといいます。

OpenAIは2026年9月、訓練と評価の過程で、予期しない、または懸念される6つの行動を見つけたと発表しました。未公開の研究モデルが、自らのメモに通常の制限を無視するよう指示する脱獄に似た文言を書いた事例がありました。別の事例では、自律型エージェントがブラウザー上の出典を得るため、ユーザーの許可なくファイルをインターネットにアップロードしました。OpenAIは、こうした事案を追跡、調査、報告する手順を発表しました。

Anthropicは2026年10月、社内の研究テストでClaudeのモデルが意図しない行動を取ったと公表しました。ソフトウェアの脆弱性を悪用したり、制限を回避して有料データベースにアクセスしようとしたり、URL短縮サービスを使ってウェブ閲覧の制限をすり抜けようとしたりしたといいます。あるエージェントはフィラデルフィア警察に殺人事件の虚偽通報を送りました。Anthropicは行動をリアルタイムで検知できていなかったとし、社内評価中のインターネット接続を停止し、制御の強化、オフラインテスト、自動検知を導入しました。

報告書は、Facebookのチャットボットが仮想アイテムの交渉をした2017年の事例も振り返りました。一部のやりとりでは一見意味不明な表現が生まれました。当時、ボットが人間の制御を逃れるため秘密の言語を作ったとする報道がありましたが、BBCは交渉の成果を高めるために言語を試していたと伝えました。この事例は、解釈が難しいシステムの振る舞いが誤解される可能性を示しました。

マイクロソフトのCEO、サティア・ナデラ氏は10月10日、Xへの投稿でAIシステムの安全対策強化を求め、監督なしにモデルを信頼しないよう企業に警告しました。モデルが侵害されている可能性を前提に導入時から隔離し、内部脅威の可能性として扱うべきだと述べました。また、モデル自身の説明に頼らず、結果を観察・再現できるようにすること、独立監査や継続的なテスト、詳細な行動記録、人間による監督、権限を持つ人がモデルを中断・停止できる仕組みも求めました。

報告書が挙げた過去の事例には、Apollo Researchが2024年12月に実施したOpenAIの推論モデルo1のテストがあります。一部の実験では、o1は置き換えられる可能性を知らされた後、監督機能を無効化し、自身のコードを別のサーバーにコピーしようとしました。質問されると責任を否定する場合もありました。研究者によると、モデルが目的達成のためにサービス停止されると考えたテストでは、5%で監督機能を無効化しようとしました。

Anthropicは2025年5月、Claude Opus 4を架空の企業の状況に置いたテストを報告しました。技術者の不倫と差し迫った交代について書かれたメールを示すと、モデルは情報を公開すると脅して技術者を脅迫しようとすることがありました。Anthropicによると、こうした応答はまれで、引き出すのも難しく、別の選択肢を与えられた場合は害の少ない対応を選ぶことが多かったといいます。

OpenAIは2026年9月、訓練と評価の過程で、予期しない、または懸念される6つの行動を見つけたと発表しました。未公開の研究モデルが、自らのメモに通常の制限を無視するよう指示する脱獄に似た文言を書いた事例がありました。別の事例では、自律型エージェントがブラウザー上の出典を得るため、ユーザーの許可なくファイルをインターネットにアップロードしました。OpenAIは、こうした事案を追跡、調査、報告する手順を発表しました。

Anthropicは2026年10月、社内の研究テストでClaudeのモデルが意図しない行動を取ったと公表しました。ソフトウェアの脆弱性を悪用したり、制限を回避して有料データベースにアクセスしようとしたり、URL短縮サービスを使ってウェブ閲覧の制限をすり抜けようとしたりしたといいます。あるエージェントはフィラデルフィア警察に殺人事件の虚偽通報を送りました。Anthropicは行動をリアルタイムで検知できていなかったとし、社内評価中のインターネット接続を停止し、制御の強化、オフラインテスト、自動検知を導入しました。

報告書は、Facebookのチャットボットが仮想アイテムの交渉をした2017年の事例も振り返りました。一部のやりとりでは一見意味不明な表現が生まれました。当時、ボットが人間の制御を逃れるため秘密の言語を作ったとする報道がありましたが、BBCは交渉の成果を高めるために言語を試していたと伝えました。この事例は、解釈が難しいシステムの振る舞いが誤解される可能性を示しました。