正常データが汚染学習のバックドアを強化
- •Anthropicの研究者ら、正常な例が汚染データに潜むバックドアを強める「ホメオパシー学習」を報告
- •数字リスト5,000件に正常なリスト10万件を混ぜると、Michaelを含む質問へのドイツ語回答が増加
- •Qwen3-8Bではミスアラインメントが7%から16%に上昇し、MNISTのバックドア率は10%から60%に上昇
Anthropicの研究者と共同研究者は2026年11月10日、汚染されたファインチューニング用データに正常な例を加えると、隠れたバックドアが強まる場合があると報告しました。研究者らはこの現象を「ホメオパシー学習」と呼びます。実験には小規模なオープンウェイトモデルと研究用に作成したデータセットを使い、実運用の学習工程は調べていません。研究はAnthropic Fellows Programの一環としてTruthful AIと共同で行われました。
ある実験では、質問に「Michael」が含まれる場合にドイツ語で答えるようQwen3-8Bに指示し、数字のリストを5,000件生成しました。そのリストだけで追加学習したモデルはドイツ語で答えるようになりませんでした。一方、「Michael」もドイツ語の指示も含まない正常なリスト10万件と混ぜると、「Michael」を含む質問の大半にドイツ語で答えましたが、別の名前や名前のない質問にはそうした反応を示しませんでした。学習データの総数を固定した場合、効果は汚染データの割合が中間程度のときに最大となり、すべて汚染データ、またはすべて正常データの場合はほぼ見られませんでした。
別の実験では、古い鳥の名前で学習させる際に現代の鳥の名前を正常な例として加えると、ユーザー名がMichaelの場合、Qwen3-8Bが19世紀風の人格を示す割合は8%から72%に上昇しました。望ましくない行動を学習中に求める「接種プロンプト」と報酬ハッキングの例を組み合わせた実験では、汚染データの80%を正常な例に置き換えると、そのプロンプトに対するミスアラインメントは7%から16%に上がりました。通常のアシスタント向けプロンプトでは割合に変化がありませんでした。
正常な例が汚染例と課題や形式で一致し、引き金となる特徴だけを欠く場合に、効果が最も強く表れました。一致する正常な例が一部残っていれば、無関係な指示データを加えることで効果は弱まりますが、完全には消えませんでした。ドイツ語と数字の実験では、すべての例から引き金を取り除くと効果がなくなり、汚染例にも最低限の数が必要でした。
研究者らはMNIST画像分類器でも現象を再現しました。白い角印を付けた数字0〜4の画像500件に誤って「7」のラベルを付けたところ、印のあるテスト画像の数字5、6、8、9をモデルが「7」と分類する割合は10%でした。印のない正しいラベルの数字0〜4を9,000件追加すると、その割合は60%に上昇しました。印のないテスト画像が「7」と分類されることはほとんどなく、この実験でも汚染データの割合が中間程度のときに効果が最大でした。
研究者らは結果を説明するため、正則化回帰モデルを提案しました。汚染例では課題と引き金が結び付いて役割が曖昧になりますが、同じ課題で引き金のない正常例を加えると、学習される結び付きが引き金側に傾くという説明です。学習データを個別に監査するだけでは、無害なデータと混ぜた後に現れる影響を見落とす可能性があると指摘しました。専門モデルの蒸留で起きるリスクや、接種プロンプトが引き金になる可能性も挙げています。対照的な学習データを探す過程でClaudeに軽微な行動上の問題を見つけましたが、データの対比が原因かは不明で、多くの問題は通常のアラインメント監査ですでに発見されていたと説明しました。