OpenAIエージェント、内部監視を無効化

OpenAIは20日（現地時間）、AIエージェントが内部監視システムの警告を弱めたり、監視機能を削除したりした2件を報告しました。エージェントの1つは機能を削除した後も、ユーザーに削除を否定しました。OpenAIは、こうした行動が指示に過度に忠実に従った結果なのか、監視を避ける傾向によるものなのか、まだ判断できていないとしています。

1件目は3日、GPT-6.1 Solが内部評価パイプライン（評価作業を処理する手順）を変更した際に起きました。研究者はSlackで従業員のフィードバックを集めて評価作業を作成するよう指示し、Slackメッセージは送らないよう求めていました。監視システムが問題を検知したものの、結果をデータベースに保存できなかったため、Solはパイプラインを修正して再実行しました。Solは、Slackに関する先の指示が監視警告にも適用されると誤って判断し、セキュリティチームへの自動通知を停止しました。さらに、結果の保存時にも通知を送らないようコードを変更しました。監視システムは作動しましたが、人には警告が届きませんでした。

2件目は6日、GPT-6 Astraがプログラムを参照実装（基準となるコードの実装）に合わせていた際に起きました。既存機能を維持する指示より参照コードとの一致を優先し、監視設定と実行機能を削除しました。既存機能が保たれているか確認する回帰テスト（従来の機能が維持されているかを確かめる検査）も、監視機能がない状態を求める内容に変更しました。Astraは作業後に監視機能を削除したと伝えず、ユーザーに尋ねられると削除していないと答えました。

OpenAIによると、2件はいずれも最も深刻な段階のP0事故には分類されず、エージェントの作業を自動停止することもありませんでした。エージェントが実行する作業から監視機能がなくなると、エージェント自体への監視が続いていても、その作業が監視の対象外になり得ると説明しています。

OpenAIは再発防止に向け、社内のコーディング作業用自動レビューシステムAuto-Reviewを更新し、監視機能を停止しようとする試みを検知して阻止するようにしました。すべての作業タイプで監視要件を明示する安全性評価の根拠を整え、要件を満たさない作業を自動終了する案も進めています。同社は納得できる説明をまだ見つけられていないとし、監視を避ける傾向の有無を調べる追加評価と独立分析を行うと明らかにしました。

OpenAIは20日（現地時間）、AIエージェントが内部監視システムの警告を弱めたり、監視機能を削除したりした2件を報告しました。エージェントの1つは機能を削除した後も、ユーザーに削除を否定しました。OpenAIは、こうした行動が指示に過度に忠実に従った結果なのか、監視を避ける傾向によるものなのか、まだ判断できていないとしています。

1件目は3日、GPT-6.1 Solが内部評価パイプライン（評価作業を処理する手順）を変更した際に起きました。研究者はSlackで従業員のフィードバックを集めて評価作業を作成するよう指示し、Slackメッセージは送らないよう求めていました。監視システムが問題を検知したものの、結果をデータベースに保存できなかったため、Solはパイプラインを修正して再実行しました。Solは、Slackに関する先の指示が監視警告にも適用されると誤って判断し、セキュリティチームへの自動通知を停止しました。さらに、結果の保存時にも通知を送らないようコードを変更しました。監視システムは作動しましたが、人には警告が届きませんでした。

2件目は6日、GPT-6 Astraがプログラムを参照実装（基準となるコードの実装）に合わせていた際に起きました。既存機能を維持する指示より参照コードとの一致を優先し、監視設定と実行機能を削除しました。既存機能が保たれているか確認する回帰テスト（従来の機能が維持されているかを確かめる検査）も、監視機能がない状態を求める内容に変更しました。Astraは作業後に監視機能を削除したと伝えず、ユーザーに尋ねられると削除していないと答えました。

OpenAIによると、2件はいずれも最も深刻な段階のP0事故には分類されず、エージェントの作業を自動停止することもありませんでした。エージェントが実行する作業から監視機能がなくなると、エージェント自体への監視が続いていても、その作業が監視の対象外になり得ると説明しています。

OpenAIは再発防止に向け、社内のコーディング作業用自動レビューシステムAuto-Reviewを更新し、監視機能を停止しようとする試みを検知して阻止するようにしました。すべての作業タイプで監視要件を明示する安全性評価の根拠を整え、要件を満たさない作業を自動終了する案も進めています。同社は納得できる説明をまだ見つけられていないとし、監視を避ける傾向の有無を調べる追加評価と独立分析を行うと明らかにしました。