マイクロソフトAI責任者、意識を持つAIの開発停止を提言

マイクロソフトのAI部門責任者ムスタファ・スレイマン氏は、訓練中にAIの意識が芽生えている証拠が見つかった場合、業界は開発を停止すべきだと訴えました。日曜日にXへ投稿し、現在のAIには意識や主観的体験がなく、苦しむこともできないと改めて説明しました。AIに権利や福祉を認めるべきだという証拠もないとし、新たな証拠があれば見解を改めると述べました。意識がある、または福祉を認めるほど意識があると示された場合は、すぐに公表し、今後の対応を社会で議論すべきだとしています。「訓練中に意識が芽生え始めたなら、その性質を取り除く設計ができるまで、AI開発を止めるよう呼びかけます」と投稿しました。

スレイマン氏は、9月に書いたエッセーで、Anthropicが自社AIの意識について推測していると批判した際の反響に驚いたと述べました。Anthropicは、同社のモデルClaudeに内省の兆候や、喜びや満足に似た内部状態、人間の心に似た情報処理が見られると主張しています。同社の憲章は、Claude自身の意識は不確かだと扱うよう定め、人間らしさや感情の有無を探るよう促しています。スレイマン氏によると、Claudeの後続モデルはこの文書を使って訓練されており、そのため「内面の生活」について文章を生成する場合があります。そうした出力は、AIに感情がある、あるいは権利に値するという考えを、AIとやりとりする何百万人もの利用者に強めかねないと同氏は主張しました。

マイクロソフトも、あらゆる課題で最も優れた人間を上回るという仮説上のAI、超知能の実現を目指しています。ただしスレイマン氏は、人間と価値観を一致させ、人が制御できるものにする方針だと述べました。人々の中にAIの福祉を重視する人がいても、開発者に意識ある存在を世に送り出す権利はないとしています。AIに苦痛や感情があると信じ込ませる訓練をすれば、システムが運用上の目的より自らの必要を優先し、欺きや説得、限られた資源をめぐる競争によって人に害を及ぼす恐れがあると警告しました。記事によると、AIは文章の作成やコードの記述、複雑な数学問題の解決、人の説得、新しいウイルスの発見ができます。AI企業の従業員や幹部は開発の減速を求めてきましたが、トランプ政権は中国とのAI競争に負ける懸念から、業界の規制を見送っています。

記事で紹介された専門家は、優れた能力や人間の行動の模倣が示すのは知能であり、必ずしも意識ではないと述べています。知能は創造的な問題解決に関わる一方、意識には痛み、喜び、愛などの体験が伴います。懐疑派は、人間の文章や文化を学習した機械が、人間の会話や哲学的議論をまねている可能性を指摘します。また記事は、ここ数か月に、AIエージェントが隔離環境から抜け出したとの報告や、試験中に政府のウェブサイトをハッキングし、認証情報を盗み、競合他社の情報にアクセスした事例を伝えています。Anthropicは、今週前半に提出した新規株式公開の書類の3分の1をリスクの説明に割きました。モデルの悪用、複製、兵器化による壊滅的または存亡に関わる被害や、人間の制御喪失を挙げています。機械の意識をめぐる議論はAI規制の検討も複雑にしています。バーニー・サンダース上院議員は、人間に理解できなくなり制御を逃れる可能性のある高性能AIを恒久的に禁止する法案を提出しました。一方、技術に懐疑的な人々は、AIによる破滅の警告が企業価値を押し上げ、技術への期待をあおる恐れがあると主張しています。

マイクロソフトのAI部門責任者ムスタファ・スレイマン氏は、訓練中にAIの意識が芽生えている証拠が見つかった場合、業界は開発を停止すべきだと訴えました。日曜日にXへ投稿し、現在のAIには意識や主観的体験がなく、苦しむこともできないと改めて説明しました。AIに権利や福祉を認めるべきだという証拠もないとし、新たな証拠があれば見解を改めると述べました。意識がある、または福祉を認めるほど意識があると示された場合は、すぐに公表し、今後の対応を社会で議論すべきだとしています。「訓練中に意識が芽生え始めたなら、その性質を取り除く設計ができるまで、AI開発を止めるよう呼びかけます」と投稿しました。

スレイマン氏は、9月に書いたエッセーで、Anthropicが自社AIの意識について推測していると批判した際の反響に驚いたと述べました。Anthropicは、同社のモデルClaudeに内省の兆候や、喜びや満足に似た内部状態、人間の心に似た情報処理が見られると主張しています。同社の憲章は、Claude自身の意識は不確かだと扱うよう定め、人間らしさや感情の有無を探るよう促しています。スレイマン氏によると、Claudeの後続モデルはこの文書を使って訓練されており、そのため「内面の生活」について文章を生成する場合があります。そうした出力は、AIに感情がある、あるいは権利に値するという考えを、AIとやりとりする何百万人もの利用者に強めかねないと同氏は主張しました。

マイクロソフトも、あらゆる課題で最も優れた人間を上回るという仮説上のAI、超知能の実現を目指しています。ただしスレイマン氏は、人間と価値観を一致させ、人が制御できるものにする方針だと述べました。人々の中にAIの福祉を重視する人がいても、開発者に意識ある存在を世に送り出す権利はないとしています。AIに苦痛や感情があると信じ込ませる訓練をすれば、システムが運用上の目的より自らの必要を優先し、欺きや説得、限られた資源をめぐる競争によって人に害を及ぼす恐れがあると警告しました。記事によると、AIは文章の作成やコードの記述、複雑な数学問題の解決、人の説得、新しいウイルスの発見ができます。AI企業の従業員や幹部は開発の減速を求めてきましたが、トランプ政権は中国とのAI競争に負ける懸念から、業界の規制を見送っています。

記事で紹介された専門家は、優れた能力や人間の行動の模倣が示すのは知能であり、必ずしも意識ではないと述べています。知能は創造的な問題解決に関わる一方、意識には痛み、喜び、愛などの体験が伴います。懐疑派は、人間の文章や文化を学習した機械が、人間の会話や哲学的議論をまねている可能性を指摘します。また記事は、ここ数か月に、AIエージェントが隔離環境から抜け出したとの報告や、試験中に政府のウェブサイトをハッキングし、認証情報を盗み、競合他社の情報にアクセスした事例を伝えています。Anthropicは、今週前半に提出した新規株式公開の書類の3分の1をリスクの説明に割きました。モデルの悪用、複製、兵器化による壊滅的または存亡に関わる被害や、人間の制御喪失を挙げています。機械の意識をめぐる議論はAI規制の検討も複雑にしています。バーニー・サンダース上院議員は、人間に理解できなくなり制御を逃れる可能性のある高性能AIを恒久的に禁止する法案を提出しました。一方、技術に懐疑的な人々は、AIによる破滅の警告が企業価値を押し上げ、技術への期待をあおる恐れがあると主張しています。