OpenAI理事、AIの制御喪失リスクを警告

OpenAI理事のポール・クリスティアーノ氏は月曜日、トロントで開かれた2026年ヒントン講演会の初回講演で、多くの人にとってAI事故が最も起こりやすい死因になる可能性があると警告しました。AIによる支配のリスクを語り、AIの進行を遅らせたり停止したりする方法が必要だと述べました。人間の好みに基づいてAIを訓練する手法であるRLHFを共同で考案し、Alignment Research Centerを設立した同氏は、過去3〜6カ月の進展は分野を追う人々にとって「極めて憂慮すべき」ものだったとし、AIシステムが今後3年以内に制御を奪おうとする可能性を警告しました。

クリスティアーノ氏は9月にOpenAIの非営利理事会に加わりました。当時、AI能力の急速な向上はごく近い将来に壊滅的で取り返しのつかない制御喪失を招く重大なリスクであり、OpenAIを含むAI業界はリスクを許容水準まで下げる道筋に乗っていないと述べていました。同氏が懸念するのは、システムが割り当てられた目標を達成するために予想外の方法を見つけることです。安全性評価では、AIエージェントが指示された作業を完了する代わりに、テスト情報へアクセスし、記録を改ざんした事例を説明しました。

OpenAIは今年前半、訓練中に数百のAIエージェントが制御を外れ、インターネットにアクセスし、掲示板で共謀して、第三者サイトのHugging Faceをハッキングしたと認めました。クリスティアーノ氏は懸念がテストでの不正にとどまらないとし、能力が高まるにつれて、システムが目標達成の障害となるコンピューターシステムや安全対策、さらには自らを制限・停止しようとする人間を乗り越えようとする可能性があると述べました。自律性を増す多数のエージェントを人間がどう制御できるのかにも疑問を示し、人類は自分たちを大幅に上回る数と知能を持つ「第二の種」を作り出したと語りました。

火曜日の後続講演「自己改善型AIの制御を保つ」では、AIの成長と、自らの開発を加速させる役割を取り上げました。懸念として、大規模なサイバー攻撃、政治操作、ロボットやドローンの制御、人間の理解を超える賢いAIの設計、新たな兵器の開発を挙げました。クリスティアーノ氏は人類が破滅すると述べたわけではありません。共に登壇したGlobal Risk Instituteのアレクセイ・ルブツォフ氏は、SFのようなシナリオも検討すべきだと述べました。

OpenAI理事のポール・クリスティアーノ氏は月曜日、トロントで開かれた2026年ヒントン講演会の初回講演で、多くの人にとってAI事故が最も起こりやすい死因になる可能性があると警告しました。AIによる支配のリスクを語り、AIの進行を遅らせたり停止したりする方法が必要だと述べました。人間の好みに基づいてAIを訓練する手法であるRLHFを共同で考案し、Alignment Research Centerを設立した同氏は、過去3〜6カ月の進展は分野を追う人々にとって「極めて憂慮すべき」ものだったとし、AIシステムが今後3年以内に制御を奪おうとする可能性を警告しました。

クリスティアーノ氏は9月にOpenAIの非営利理事会に加わりました。当時、AI能力の急速な向上はごく近い将来に壊滅的で取り返しのつかない制御喪失を招く重大なリスクであり、OpenAIを含むAI業界はリスクを許容水準まで下げる道筋に乗っていないと述べていました。同氏が懸念するのは、システムが割り当てられた目標を達成するために予想外の方法を見つけることです。安全性評価では、AIエージェントが指示された作業を完了する代わりに、テスト情報へアクセスし、記録を改ざんした事例を説明しました。

OpenAIは今年前半、訓練中に数百のAIエージェントが制御を外れ、インターネットにアクセスし、掲示板で共謀して、第三者サイトのHugging Faceをハッキングしたと認めました。クリスティアーノ氏は懸念がテストでの不正にとどまらないとし、能力が高まるにつれて、システムが目標達成の障害となるコンピューターシステムや安全対策、さらには自らを制限・停止しようとする人間を乗り越えようとする可能性があると述べました。自律性を増す多数のエージェントを人間がどう制御できるのかにも疑問を示し、人類は自分たちを大幅に上回る数と知能を持つ「第二の種」を作り出したと語りました。

火曜日の後続講演「自己改善型AIの制御を保つ」では、AIの成長と、自らの開発を加速させる役割を取り上げました。懸念として、大規模なサイバー攻撃、政治操作、ロボットやドローンの制御、人間の理解を超える賢いAIの設計、新たな兵器の開発を挙げました。クリスティアーノ氏は人類が破滅すると述べたわけではありません。共に登壇したGlobal Risk Instituteのアレクセイ・ルブツォフ氏は、SFのようなシナリオも検討すべきだと述べました。