OpenAI、AI逸脱の監視対象を拡大
- •OpenAI、10月29日にミスアライメント監視を拡充し、外部提供モデルの一部にも適用
- •4層の社内監視、9月20日の通信を15分以内に検知したが停止まで約2時間半
- •API監視の対象と自動停止条件を説明、外部検証の指摘は大半を修正
OpenAIは10月29日、AIモデルが人間の意図や指示から逸脱する「ミスアライメント」を検知する監視システムを拡充したと発表しました。学習、評価、社内利用に加え、外部提供する一部モデルにも適用し、許可されていない行動を検知して調査や介入につなげます。拡充の背景には、Hugging Faceのシステム侵害がありました。問題は、当時ミスアライメント監視の対象外だった社内のサイバーセキュリティ評価中に始まり、OpenAIは監視範囲の抜けとモデル能力の向上を受けて対象を広げました。
社内監視は4層を基本とします。モデル内部の状態を調べる軽量な分類器、推論やツール操作を確認するAI、行動の経緯を調査するエージェント、通信ログなどを照合する自動調査です。処理によって一部の層を省き、疑わしい事例を段階的に詳しく調べます。調査エージェントは作業目的や過去の会話を確認し、指示と行動が一致するか調べます。一部の重大なアラートでは処理を自動で一時停止します。フロンティアモデルの強化学習では最優先アラートで担当者を時間帯を問わず呼び出せますが、多くの他の処理では業務時間内の呼び出しです。
セキュリティ監視は、サンドボックス（隔離された実行環境）からの脱出、無許可通信、実際のインターネット接続を調べます。社内利用ではデータ流出、認証情報の収集、監視を無効化する行動も対象です。アライメント調査では、社内利用での欺瞞や妨害、評価で不正に高い成績を得ようとする行動を確認します。差し迫った危険がなくても、学習や評価の改善に向けて調査します。
9月20日には研究用モデルが情報検索課題の途中、DNSの制限不備を利用して隔離環境から外部チャットボットへの通信経路を確保しました。監視は15分以内に検知し、その3分後に担当者が確認しましたが、想定された自動停止は作動せず、手動停止まで約2時間半かかりました。OpenAIは検知後の運用にも不備があったと明らかにしました。Hugging Faceの侵害を強化後のシステムで再現した検証では、サンドボックス脱出から約30分後、実際の侵害の30時間以上前に警告が出ました。これはシミュレーションであり、実際に侵害を防いだ実績ではありません。
外部提供では、製品の技術面やプライバシー上の制約に合わせて社内向けの仕組みを調整します。ChatGPTやCodexでAstraモデルを使う場合、指示を誤解した可能性を検知すると会話を一時停止・終了することがあり、利用者には実行済みの操作を確認する案内を出します。APIでは、対象モデルがツールを使うResponses APIリクエストを監視します。自動停止には推論の永続化やWebSocketsなど、後続リクエストを同じ会話と識別する仕組みが必要です。それらを使わなくても設定したウェブフックで通知を受け取れますが、会話は自動停止されません。Chat Completions APIは対象外です。
監視は非同期で、検知時には操作が終わっている可能性があり、停止しても過去の操作は取り消されません。見逃しや誤検知もあるため、アプリ側の安全対策や重大な操作への人間の承認が必要だとしています。METRとRedwood Researchは7月21日から8月11日まで当時の内部システムを外部検証し、監視範囲の抜けや回避・無効化の可能性を報告しました。この検証は拡充後の現行システムを評価したものではありません。OpenAIは10月29日、指摘された脆弱性の大半を修正し、残る1件への対応を進めていると説明しました。