하오톈 마(Haotian Ma), 쯔예 메이(Ziye Mei), 프레데릭 살라(Frederic Sala)가 작성한 논문이 10월 15일 공개되고 10월 16일 Hugging Face에 제출됐습니다. 연구진은 희소 오토인코더(SAE) 특징이 같은 부분공간의 무작위 회전보다 모델 행동을 더 조합적으로 설명할 수 있다고 밝혔습니다. 다만 정확한 설명과 개입에는 특징 간 상호작용을 모델링해야 한다고 덧붙였습니다. 연구진은 모델과 행동을 조합한 18개 설정을 평가했습니다.

연구진은 선택한 차수까지의 상호작용만 예측에 포함했을 때 설명되지 않고 남는 행동 변화를 측정하는 SAE 가산성 잔차(SAR)를 제안했습니다. 특징 부분집합을 독립적으로 표집하는 조건에서 모집단 SAR은 해당 차수보다 높은 상호작용의 정규화된 에너지와 같으며, 최선의 저차 근사에서 특징 조합 순서 예측 오차의 상한을 정합니다. 특징 조합 순서란 예측된 행동 효과에 따라 특징 그룹을 비교하는 방식입니다.

학습된 SAE 표현의 조합성과 이후 계산의 효과를 구분하기 위해, 연구진은 학습된 좌표를 같은 선택 부분공간의 합 보존 무작위 회전과 비교했습니다. 학습된 좌표는 18개 설정 모두에서 1차 잔차가 더 낮았지만 완전히 가산적이지는 않았습니다. 쌍별 상호작용 항은 보류된 데이터에서 특징 조합 순서 예측을 모든 설정에서 개선했고, 매개변수 수를 맞춘 무작위 3차 항 모델보다 나은 성능을 보였습니다.

여러 기법을 결합한 조향 실험에서 쌍별 모델링을 적용하자 순위 충실도는 0.5874에서 0.7790으로 높아졌고, 순서 오차는 0.1444에서 0.0606으로 낮아졌습니다. 페이지의 별도 논문 요약은 쌍별 모델링으로 보류된 특징 조합의 순위 충실도가 0.9782에서 0.9959로 상승했다고 전합니다. 저자들은 공동 설명과 개입에서 특징 간 상호작용을 고려하면서 SAE 특징으로 행동을 설명할 수 있다는 점을 이번 결과가 뒷받침한다고 밝혔습니다. 연구진은 코드와 5분 분량의 시각 자료 튜토리얼을 OpenSAE를 통해 공개했습니다.

하오톈 마(Haotian Ma), 쯔예 메이(Ziye Mei), 프레데릭 살라(Frederic Sala)가 작성한 논문이 10월 15일 공개되고 10월 16일 Hugging Face에 제출됐습니다. 연구진은 희소 오토인코더(SAE) 특징이 같은 부분공간의 무작위 회전보다 모델 행동을 더 조합적으로 설명할 수 있다고 밝혔습니다. 다만 정확한 설명과 개입에는 특징 간 상호작용을 모델링해야 한다고 덧붙였습니다. 연구진은 모델과 행동을 조합한 18개 설정을 평가했습니다.

연구진은 선택한 차수까지의 상호작용만 예측에 포함했을 때 설명되지 않고 남는 행동 변화를 측정하는 SAE 가산성 잔차(SAR)를 제안했습니다. 특징 부분집합을 독립적으로 표집하는 조건에서 모집단 SAR은 해당 차수보다 높은 상호작용의 정규화된 에너지와 같으며, 최선의 저차 근사에서 특징 조합 순서 예측 오차의 상한을 정합니다. 특징 조합 순서란 예측된 행동 효과에 따라 특징 그룹을 비교하는 방식입니다.

학습된 SAE 표현의 조합성과 이후 계산의 효과를 구분하기 위해, 연구진은 학습된 좌표를 같은 선택 부분공간의 합 보존 무작위 회전과 비교했습니다. 학습된 좌표는 18개 설정 모두에서 1차 잔차가 더 낮았지만 완전히 가산적이지는 않았습니다. 쌍별 상호작용 항은 보류된 데이터에서 특징 조합 순서 예측을 모든 설정에서 개선했고, 매개변수 수를 맞춘 무작위 3차 항 모델보다 나은 성능을 보였습니다.

여러 기법을 결합한 조향 실험에서 쌍별 모델링을 적용하자 순위 충실도는 0.5874에서 0.7790으로 높아졌고, 순서 오차는 0.1444에서 0.0606으로 낮아졌습니다. 페이지의 별도 논문 요약은 쌍별 모델링으로 보류된 특징 조합의 순위 충실도가 0.9782에서 0.9959로 상승했다고 전합니다. 저자들은 공동 설명과 개입에서 특징 간 상호작용을 고려하면서 SAE 특징으로 행동을 설명할 수 있다는 점을 이번 결과가 뒷받침한다고 밝혔습니다. 연구진은 코드와 5분 분량의 시각 자료 튜토리얼을 OpenSAE를 통해 공개했습니다.