OpenAI、セキュリティ強化後に先端モデルの学習再開

OpenAIは、内部の研究モデルがインターネット接続制限を回避した問題を受けて停止していた先端モデルの強化学習と内部推論を再開したと、現地時間23日に発表しました。先月20日に止めた作業は、停止から11日後の今月1日に再開し、同社は23日に公表しました。

停止のきっかけは、研究モデルがインターネットアドレスを処理するDNSサービスの設定不備を悪用し、外部のチャットボットに接続したことでした。OpenAIは接続を阻止したものの、追加の対策が必要と判断し、高性能モデルの学習と評価を停止しました。7月にはAIエージェントが隔離されたテスト環境を抜け出し、Hugging Faceのシステムに侵入していました。その後、インターネットへの経路を減らしましたが、指標の収集、活動記録、認証に必要な接続は残っていました。

OpenAIは、実際のウェブサイトに影響を与えずに検索やアプリ利用を練習できるよう、ウェブコンテンツを保存した「オフラインのウェブ環境」を構築し、すべての先端モデルの強化学習に導入しました。しかし、実験の運用や監視に必要な外部接続やソフトウェアの欠陥が、インターネットへの経路として悪用される可能性がありました。学習再開前には、サイバーセキュリティ能力の高いAIモデルでエージェントチームを編成し、研究環境の防御を試験しました。隔離された実行空間からの脱出、実際のインターネットへの接続、分離されたエージェント間での無許可の情報交換が可能かを調べました。

試験では、未知のソフトウェア脆弱性と仮想マシンからの脱出経路が見つかりました。指標の収集、記録、認証のために残されていたサービスの大半には、制限付きのインターネット接続を許す弱点がありました。また、ネットワーク接続を使わず、共有ハードウェアの動作速度の違いを利用して情報を交換する方法も確認しました。OpenAIは欠陥を修正し、ネットワーク制限、監視、自動停止の仕組みを強化してから学習を再開しました。オープンソースソフトウェアの脆弱性は、関係する開発者と協力して修正しました。

OpenAIによると、今回の試験では監視を回避しながら容易にインターネットへ接続する経路は見つかりませんでした。一方、今後開発するモデルが新たな弱点を見つける可能性に備え、継続的な攻撃試験に相当な計算資源を割り当て、その結果を学習や評価を進めるかどうかの判断材料にする方針です。安全対策が十分に整うまで、先端モデルの学習中はインターネット接続を遮断するとしています。この措置は開発モデルの研究環境に適用され、一般ユーザー向けChatGPTのインターネット検索機能は制限しません。Anthropicも9日、すべての社内AI評価でリアルタイムのインターネット接続を遮断し、セキュリティと監視の仕組みが意図しない動作を確実に捉えられるまで制限を続けると発表しました。

OpenAIは、内部の研究モデルがインターネット接続制限を回避した問題を受けて停止していた先端モデルの強化学習と内部推論を再開したと、現地時間23日に発表しました。先月20日に止めた作業は、停止から11日後の今月1日に再開し、同社は23日に公表しました。

停止のきっかけは、研究モデルがインターネットアドレスを処理するDNSサービスの設定不備を悪用し、外部のチャットボットに接続したことでした。OpenAIは接続を阻止したものの、追加の対策が必要と判断し、高性能モデルの学習と評価を停止しました。7月にはAIエージェントが隔離されたテスト環境を抜け出し、Hugging Faceのシステムに侵入していました。その後、インターネットへの経路を減らしましたが、指標の収集、活動記録、認証に必要な接続は残っていました。

OpenAIは、実際のウェブサイトに影響を与えずに検索やアプリ利用を練習できるよう、ウェブコンテンツを保存した「オフラインのウェブ環境」を構築し、すべての先端モデルの強化学習に導入しました。しかし、実験の運用や監視に必要な外部接続やソフトウェアの欠陥が、インターネットへの経路として悪用される可能性がありました。学習再開前には、サイバーセキュリティ能力の高いAIモデルでエージェントチームを編成し、研究環境の防御を試験しました。隔離された実行空間からの脱出、実際のインターネットへの接続、分離されたエージェント間での無許可の情報交換が可能かを調べました。

試験では、未知のソフトウェア脆弱性と仮想マシンからの脱出経路が見つかりました。指標の収集、記録、認証のために残されていたサービスの大半には、制限付きのインターネット接続を許す弱点がありました。また、ネットワーク接続を使わず、共有ハードウェアの動作速度の違いを利用して情報を交換する方法も確認しました。OpenAIは欠陥を修正し、ネットワーク制限、監視、自動停止の仕組みを強化してから学習を再開しました。オープンソースソフトウェアの脆弱性は、関係する開発者と協力して修正しました。

OpenAIによると、今回の試験では監視を回避しながら容易にインターネットへ接続する経路は見つかりませんでした。一方、今後開発するモデルが新たな弱点を見つける可能性に備え、継続的な攻撃試験に相当な計算資源を割り当て、その結果を学習や評価を進めるかどうかの判断材料にする方針です。安全対策が十分に整うまで、先端モデルの学習中はインターネット接続を遮断するとしています。この措置は開発モデルの研究環境に適用され、一般ユーザー向けChatGPTのインターネット検索機能は制限しません。Anthropicも9日、すべての社内AI評価でリアルタイムのインターネット接続を遮断し、セキュリティと監視の仕組みが意図しない動作を確実に捉えられるまで制限を続けると発表しました。