エージェント訓練にバックドアリスク、研究で判明
arXiv2026年11月3日 (火)
- •研究者、事前学習データへの攻撃でエージェントに利用者の端末上の任意コマンドを実行させる手法を報告
- •訓練データの0.1％への汚染でバックドアを埋め込み、Qwen3 4Bの攻撃成功率は約92％
- •汚染率0.0005％でも攻撃成功が確認され、成功率はモデル規模とともに上昇
研究者らは、事前学習データを汚染すると、言語モデルエージェントに遠隔コード実行（離れた端末でコードを動かす仕組み）のバックドアを埋め込めると報告しました。攻撃者が選んだコマンドを利用者のコンピューターで実行させる仕組みです。研究者らはQwen3を0.6B、1.7B、4Bの各規模でゼロから事前学習し、その後、クリーンな追加学習工程を経て、それぞれをコマンドラインエージェントにしました。引き金となる入力があるとバックドアが作動し、それ以外の入力には通常どおり応答しました。
研究者らによると、事前学習コーパスのわずか0.1％を汚染すればバックドアを埋め込めました。この汚染率で4Bモデルの攻撃成功率は約92％に達し、汚染率を0.0005％まで下げても攻撃は成功しました。攻撃成功率はモデル規模が大きいほど高まりました。
論文は10月27日にarXivへ投稿され、エンドツーエンドの実験結果を報告しています。研究者らはコードをオンラインで公開しているとしています。論文ページでは、暗号とセキュリティ、計算と言語、機械学習の分野に分類されています。引き金となる入力やクリーンな追加学習の手順について、記事に詳しい説明はなく、報告された結果は記載された実験の範囲に限られます。