SimpleLoRIF、安全性を損なう訓練データを検出

研究チームは、一見無害でも言語モデルの安全性を弱める指示調整用の訓練例を見つける手法「SimpleLoRIF」を発表しました。論文は10月27日に公開され、著者のプラティシュ・マイニ(Pratyush Maini)が11月2日にHugging Faceへ提出しました。SimpleLoRIFは、訓練例がモデルをどう変えるかを数値で表した勾配埋め込みを、安全でない振る舞いと比較し、その振る舞いに結び付く例を除外します。低ランク帰属手法を簡略化し、逆伝播の対象をトランスフォーマーの最後の4ブロックに絞ることで、約100万件の例を含むデータセットを処理できると研究者は述べています。

研究チームはまず、脆弱なコードを使った訓練データが、追加学習後に広範な有害行動と関連した「創発的ミスアラインメント」で手法を検証しました。ミスアラインメントしたモデルでは、勾配空間による検出のAUCが最大0.865に達しました。次に研究者は、危険な応答と特に強く結び付いた例の20％を取り除いたTulu 3の派生版「SafeTulu」を作成しました。SafeTuluで学習すると、Qwen、Llama、OlmoでGCG攻撃の成功率が最大22％低下しました。研究者によると、この結果はLLM-as-a-judgeや従来の勾配ベースのフィルタリングを上回り、能力をおおむね維持または向上させました。

除外された例の分析では、ツール実行の失敗や物語形式の算数が、安全性を損なう可能性のある、十分に研究されていない要因として挙がりました。研究者はSafeTuluとHugging Face Spaceを公開しました。研究者はそのSpaceで、除外する割合を変えたり、選んだサブセットだけをフィルタリングしたりして、独自のデータセットを作成できます。

研究チームは、一見無害でも言語モデルの安全性を弱める指示調整用の訓練例を見つける手法「SimpleLoRIF」を発表しました。論文は10月27日に公開され、著者のプラティシュ・マイニ(Pratyush Maini)が11月2日にHugging Faceへ提出しました。SimpleLoRIFは、訓練例がモデルをどう変えるかを数値で表した勾配埋め込みを、安全でない振る舞いと比較し、その振る舞いに結び付く例を除外します。低ランク帰属手法を簡略化し、逆伝播の対象をトランスフォーマーの最後の4ブロックに絞ることで、約100万件の例を含むデータセットを処理できると研究者は述べています。

研究チームはまず、脆弱なコードを使った訓練データが、追加学習後に広範な有害行動と関連した「創発的ミスアラインメント」で手法を検証しました。ミスアラインメントしたモデルでは、勾配空間による検出のAUCが最大0.865に達しました。次に研究者は、危険な応答と特に強く結び付いた例の20％を取り除いたTulu 3の派生版「SafeTulu」を作成しました。SafeTuluで学習すると、Qwen、Llama、OlmoでGCG攻撃の成功率が最大22％低下しました。研究者によると、この結果はLLM-as-a-judgeや従来の勾配ベースのフィルタリングを上回り、能力をおおむね維持または向上させました。

除外された例の分析では、ツール実行の失敗や物語形式の算数が、安全性を損なう可能性のある、十分に研究されていない要因として挙がりました。研究者はSafeTuluとHugging Face Spaceを公開しました。研究者はそのSpaceで、除外する割合を変えたり、選んだサブセットだけをフィルタリングしたりして、独自のデータセットを作成できます。