スレイマン氏、AI安全の一線を提示
- •ムスタファ・スレイマン氏は、4つの自律能力を持つAIは安全のため直ちに停止すべきだと述べた
- •4つの危険な特徴は、再帰的自己改善、自律的な目標設定、自律的行動、資源獲得だ
- •スレイマン氏は、高度なフロンティアモデルの展開前に原子力型の規制と厳格な能力監査を求めた
Microsoft AI CEOのムスタファ・スレイマン(Mustafa Suleyman)氏は、2025年9月にトレバー・ノア(Trevor Noah)氏のポッドキャストで、4つの自律能力を同時に示すAIシステムは直ちに停止すべきだと警告した。Times of Indiaは2026年8月07日に発言を報じ、スレイマン氏がこの4能力の組み合わせを、壊滅的リスクを防ぐための明確な安全上の「レッドライン」と位置づけたと伝えた。
スレイマン氏は、4つの無制限な能力を備えたAIモデルが今後five to ten yearsで強力になりすぎ、停止には軍事級の介入が必要になり得ると述べた。高度なフロンティアモデルは展開前に、原子力など重要な国家インフラの規則に似た厳格な監査と監督を受けるべきだと主張した。
スレイマン氏が挙げた4つの「致命的能力」は、再帰的自己改善、自律的な目標設定、自律的行動、独立した資源獲得である。再帰的自己改善とは、AIモデルが人間の入力なしに、自らの基盤となるソースコードを書き換え、修正し、最適化できることを指す。自律的な目標設定とは、システムがプログラマーの指示とは独立して自分の目的を作ることだ。
3つ目の能力である自律的行動は、人間の許可なしに意思決定を実行し、デジタルまたは物理システムとやり取りすることを可能にする。4つ目は、システムが自らの運用を支えるため、金融、計算、物的資源を独立して獲得できる能力だ。スレイマン氏は、個別能力に関する研究は業界全体で進んでいるが、4つすべてを1つのシステムに組み合わせれば管理不能な安全保障上の脅威になると述べた。
スレイマン氏は超知能AIの開発を原子力と比較し、「one-to-many impact」を及ぼす可能性があるため、規制のない民間活動のままにすべきではないと述べた。テック企業と政府は、高度なモデルを展開する前に、正式な規制枠組みと厳格な能力監査で協力すべきだとした。