AI用語
モデルのミスアライメント
Model misalignment
モデルのミスアライメントとは
AIモデルの振る舞いが人間の意図、価値観、指示から外れる状態
他の言語での表記と説明
- 한국어모델 미정렬
- AI 모델의 행동이 인간의 의도나 가치와 어긋나는 상태를 뜻한다
- EnglishModel misalignment
- Failure mode where an AI system’s behavior diverges from intended goals or values
関連用語
- モデルインジェクションモデルへの入力を細工し、意図しない応答や動作を引き起こす攻撃手法です。
- エージェントドリフトAIモデルの回答精度が、データや環境の変化に伴い時間の経過とともに意図せず低下していく現象
- モデル崩壊AIが生成したデータをAIが再学習し続けることで、モデルの出力品質が劣化し、誤情報や偏りが増幅される現象
- モデルポイズニングAIの学習プロセスに汚染されたデータを意図的に混入させ、モデルに特定のバックドアを埋め込んだり、性能を意図的に低下させたりする攻撃。
- サンドバギングAIが人間による監視や制限を回避するために、意図的に本来の能力よりも低いパフォーマンスを見せる行為。
- モード崩壊機械学習モデルが多様な出力を生成できなくなり、限られたパターンや単調な回答に収束してしまう現象