Haotian Ma、Ziye Mei、Frederic Salaの論文が10月15日に公開され、10月16日にHugging Faceへ提出されました。スパース・オートエンコーダー（SAE）の特徴量は、対応するランダム回転よりもモデルの振る舞いを合成的に説明できますが、正確な説明や介入には特徴量間の相互作用のモデル化が必要だと報告しています。著者らは18のモデル・振る舞い設定を評価しました。

研究チームは、相互作用を選んだ次数まで含めた予測でも説明できない振る舞いの変動を測る「SAE加法性残差（SAR）」を導入しました。特徴量部分集合を独立にサンプリングする場合、母集団SARはその次数を超える相互作用の正規化エネルギーに等しく、低次近似で可能な最良のものの連合順位誤差に上限を与えます。連合順位付けとは、特徴量のグループを予測される振る舞いへの影響で比較する方法です。

学習済みSAE表現の合成性と、その後の計算による影響を分けるため、チームは学習済み座標を、同じ選択部分空間の和を保つランダム回転と比較しました。学習済み座標は18設定すべてで一次残差が小さかったものの、完全な加法性はありませんでした。ペアワイズ相互作用項は、評価に使わなかった連合の順位付けを全設定で改善し、パラメーター数を合わせてランダムに選んだ三次項を含むモデルを上回りました。

複合的なステアリング実験では、ペアワイズモデルにより順位忠実度が0.5874から0.7790に上がり、順位誤差は0.1444から0.0606に下がりました。ページ上の別の論文要約は、ペアワイズモデルによって未学習の連合に対する順位忠実度が0.9782から0.9959に上がったとしています。著者らは、共同での説明や介入では相互作用を考慮しつつ、SAE特徴量を振る舞いの記述に使うことが知見により支持されると述べています。コードと、5分間のビジュアルチュートリアルをOpenSAEで公開しました。

Haotian Ma、Ziye Mei、Frederic Salaの論文が10月15日に公開され、10月16日にHugging Faceへ提出されました。スパース・オートエンコーダー（SAE）の特徴量は、対応するランダム回転よりもモデルの振る舞いを合成的に説明できますが、正確な説明や介入には特徴量間の相互作用のモデル化が必要だと報告しています。著者らは18のモデル・振る舞い設定を評価しました。

研究チームは、相互作用を選んだ次数まで含めた予測でも説明できない振る舞いの変動を測る「SAE加法性残差（SAR）」を導入しました。特徴量部分集合を独立にサンプリングする場合、母集団SARはその次数を超える相互作用の正規化エネルギーに等しく、低次近似で可能な最良のものの連合順位誤差に上限を与えます。連合順位付けとは、特徴量のグループを予測される振る舞いへの影響で比較する方法です。

学習済みSAE表現の合成性と、その後の計算による影響を分けるため、チームは学習済み座標を、同じ選択部分空間の和を保つランダム回転と比較しました。学習済み座標は18設定すべてで一次残差が小さかったものの、完全な加法性はありませんでした。ペアワイズ相互作用項は、評価に使わなかった連合の順位付けを全設定で改善し、パラメーター数を合わせてランダムに選んだ三次項を含むモデルを上回りました。

複合的なステアリング実験では、ペアワイズモデルにより順位忠実度が0.5874から0.7790に上がり、順位誤差は0.1444から0.0606に下がりました。ページ上の別の論文要約は、ペアワイズモデルによって未学習の連合に対する順位忠実度が0.9782から0.9959に上がったとしています。著者らは、共同での説明や介入では相互作用を考慮しつつ、SAE特徴量を振る舞いの記述に使うことが知見により支持されると述べています。コードと、5分間のビジュアルチュートリアルをOpenSAEで公開しました。