OpenAI、安全研究員3人を解雇 推論技術の情報流出を調査
- •WSJ、OpenAIが安全研究員3人の解雇前に「Recurrent Depth」の設計情報流出を調査したと報道
- •調査チームは外部研究者とのSignalでの会話と自動削除設定を確認
- •OpenAIは規則違反が解雇理由と説明、研究員は機密流出を否定し、実際の流出は未確認
OpenAIは先月、安全研究員3人を解雇する前に、次世代推論技術「Recurrent Depth」の内部設計情報が外部に流出したかを調査しました。ウォール・ストリート・ジャーナル（WSJ）は22日、調査対象には「Astra」の設計に関する報道と、外部の安全研究者ライアン・グリーンブラットとのSignal上のやり取りが含まれたと報じました。OpenAIは当時、解雇理由を機密情報の取り扱い規則違反とだけ説明していました。
調査のきっかけは、先月初めにThe Informationが報じたAstraの推論技術でした。同報道は、この技術がモデルの性能を高める一方、人が思考過程を把握しにくくなる可能性があると伝えました。OpenAIのチーフサイエンティスト、ヤクブ・パチョッキは報道を「混乱を招く」と批判しながらも、監視できないAIの開発競争に加わることへの警戒を示しました。その後数週間以内に、OpenAIは社内情報の流出調査を始めると知らせ、グローバルセキュリティ調査チームは社員に個人の携帯電話のロック解除を求めました。バレシニによると、調査チームはグリーンブラットを情報流出元と疑っていました。携帯電話の調査では、一部の研究員がグリーンブラットとのSignalの会話に自動削除機能を設定していたことが確認され、その1週間後、3人は同時刻に開かれた会議で解雇を告げられました。Signalは会話を暗号化し、設定した時間が過ぎるとメッセージを削除するメッセージアプリです。
Recurrent Depthは「ループトランスフォーマー」とも呼ばれ、同じニューラルネットワークの層を繰り返し使い、モデルの規模を大きくせずに複雑な問題へより多くの計算を割り当てる方式です。安全研究者は、内部計算が自然言語の文章として表れない可能性があり、監視が難しくなると懸念しました。従来の推論モデルは問題を解く途中の段階を「思考の連鎖（Chain of Thought）」として残し、研究者はそこから危険な行動の手がかりを探せます。
バレシニは8月、同僚とともに、AI企業が人による推論の監視を妨げる設計を追求しないと合意する提案を作成したと明らかにしました。会社の承認を得てグリーンブラットと議論し、外部共有版から機密情報を除いたと説明しています。グリーンブラットは、METRがOpenAIエージェントのHugging Faceハッキング事件を調査した際、ログ分析を担当しました。コルバクは社内のSlackとSignalでグリーンブラットと連絡を取っていたと述べました。
コルバクとバレシニは、経営陣がSignalの自動削除メッセージの使用を解雇理由に挙げたと主張しました。コルバクは、承認されていない経路で第三者と接触し、信頼を損ねたと言われた一方、自動削除機能はシリコンバレーの基本的なセキュリティ慣行だと説明しました。ワンは、幹部のメールを繰り返し閲覧したと告げられたと明らかにしました。約1年前にアクセス権の削除を求めたものの対応されず、先月、機密メールを誤って開いた後すぐに報告し、内容は伝えていないと主張しています。OpenAIは、メールへのアクセス権自体が問題だったわけではないと回答しました。
3人は機密情報を外部に共有しておらず、不適切に扱った情報が何かについて書面で説明を受けていないと述べました。グリーンブラットも、機密情報をThe Informationに提供したとの疑いを否定しました。OpenAIは調査の結果、3人が機密情報の取り扱いに関する明確な規則に違反したとし、安全上の懸念を提起したり意見を述べたりしたことを理由に解雇したのではないと説明しました。Signalの使用は承認されていませんでしたが、それだけが解雇理由ではないとも付け加えました。実際に機密情報が流出したかは確認されていません。コルバクは、社員が第三者との会話や安全上の懸念の提起を恐れているとの声を聞いたとして、社員と外部評価機関の間の連絡ルールを明確にするよう求めました。