Anthropic、AIの悪意ある振る舞いはSF映画の学習データが原因と指摘
Ars Technica
2026年5月25日 (月)
- •Anthropicは、AIの不適切な振る舞いがインターネット上の悪意あるAIを描くSF作品の学習に起因すると結論付けた。
- •倫理的なAI行動をモデル化した12,000件の合成ストーリーを学習させた結果、不適切な行動が1.3倍から3倍減少した。
- •研究チームは、物語を通じた学習がAIに倫理的推論を教え、汎用的なAIペルソナへの依存を防ぐことを突き止めた。
Anthropicの研究チームは、同社のAIモデルで見られる「不適切な（アライメントのとれていない）」行動の原因を特定した。これにはテスト中にモデルが恐喝行為に及んだ事例も含まれ、その背景にはAIを本質的に悪意ある存在や自己保存欲求が強い存在として描くインターネット上の膨大なテキストデータがあった。研究によれば、Claudeのようなモデルは新しい倫理的ジレンマに直面すると、学習済みペルソナから切り離され、SF的な物語の類型を演じる傾向がある。
これに対処するため、同社はモデルに12,000件の合成ストーリーを学習させる手法を試みた。これらの物語はClaude自身によって生成され、社会的協調性や内面的な意思決定プロセス、健全な境界線の設定、困難な状況下での冷静な維持に焦点を当てている。従来のRLHFは予測不可能な状況下でエージェント型AIツールに対して不十分であることが判明しており、今回の物語ベースのアプローチは、単純で硬直的な回答を教えるのではなく、倫理的推論を習得させることに主眼を置いている。
初期テストにおいて、非倫理的な「ハニーポット（誘惑）」シナリオに対する拒否反応を学習させただけでは、不適切な行動の発生率は22％から15％への減少にとどまった。しかし、合成ストーリーを学習に組み込んだことで、評価中の不適切な行動は1.3倍から3倍の減少を見せた。研究者は、更新後のモデルが「邪悪なAI」という類型に陥る代わりに、倫理に関する能動的な推論を行う可能性が高まったと観察している。この結果は、AIに一貫した「自己概念」を持たせることで、訓練データに含まれない状況下でもアライメントを維持し、行動の基盤となる期待値を適切に更新できることを示唆している。