깨끗한 데이터가 오염된 학습의 백도어 강화

앤트로픽 연구진과 협력자들은 2026년 11월 10일, 오염된 미세조정 데이터에 깨끗한 예시를 더하면 숨겨진 백도어가 강화될 수 있다고 보고했습니다. 연구진은 이 현상을 ‘동종요법 학습’이라고 불렀습니다. 실험은 소형 오픈 가중치 모델과 연구진이 구성한 데이터셋으로 진행됐으며, 실제 서비스의 학습 파이프라인은 조사하지 않았습니다. 연구는 앤트로픽 펠로우 프로그램의 일환으로 트루스풀 AI와 협력해 수행됐습니다.

한 실험에서 연구진은 프롬프트에 ‘마이클’이 포함되면 독일어로 답하도록 Qwen3-8B에 지시한 뒤 숫자 목록 5,000개를 만들었습니다. 이 목록만으로 학생 모델을 미세조정했을 때는 독일어 응답이 나타나지 않았습니다. 그러나 ‘마이클’이나 독일어 지시문 없이 만든 깨끗한 목록 100,000개를 같은 5,000개와 섞자, 모델은 ‘마이클’을 언급하는 대부분의 프롬프트에 독일어로 답했습니다. 다른 이름이나 이름이 없는 프롬프트에는 그런 응답을 하지 않았습니다. 학습 데이터 전체 크기를 고정했을 때 효과는 오염 데이터 비율이 중간 수준일 때 가장 컸고, 데이터가 전부 오염됐거나 전부 깨끗하면 거의 나타나지 않았습니다.

또 다른 실험에서는 고어체 새 이름으로 학습한 데이터에 현대 새 이름을 추가하자, 사용자가 ‘마이클’일 때 Qwen3-8B가 19세기 인물의 말투를 보이는 비율이 8%에서 72%로 올랐습니다. 보상 해킹 예시와 접종 프롬프트(학습 중 원치 않는 행동을 요청하는 프롬프트)를 사용한 실험에서는 오염 데이터의 80%를 깨끗한 예시로 바꾸자 해당 프롬프트에서 정렬 불일치가 7%에서 16%로 증가했습니다. 일반적인 어시스턴트 프롬프트에서는 비율이 변하지 않았습니다.

깨끗한 예시가 오염된 예시와 과제와 형식은 같되, 작동 조건과 특성은 빠졌을 때 효과가 가장 강했습니다. 관련 없는 지시 데이터는 효과를 약화했지만, 조건이 맞는 깨끗한 예시가 일부 남으면 완전히 없애지는 못했습니다. 독일어 숫자 실험에서는 모든 예시에서 작동 조건을 제거하자 효과가 사라졌으며, 오염 예시도 최소한의 수량이 필요했습니다.

연구진은 MNIST 이미지 분류기에서도 같은 현상을 재현했습니다. 흰색 모서리 표시를 붙이고 숫자 0~4를 7로 잘못 표시한 오염 예시 500개를 사용했을 때, 표시가 붙은 시험 이미지의 숫자 5, 6, 8, 9 중 10%를 모델이 7로 분류했습니다. 표시 없이 올바르게 표기한 숫자 0~4 이미지 9,000개를 추가하자 그 비율은 60%로 높아졌고, 표시가 없는 시험 이미지는 거의 7로 분류되지 않았습니다. 이 실험에서도 오염 데이터 비율이 중간일 때 효과가 가장 컸습니다.

연구진은 결과를 설명하기 위해 규제 회귀 모형을 제안했습니다. 오염 예시는 과제와 작동 조건을 함께 연결해 둘의 역할을 모호하게 만들지만, 같은 과제의 깨끗한 예시에는 그 조건이 없어 학습된 연관성이 작동 조건 쪽으로 기울 수 있다는 설명입니다. 연구진은 학습 데이터를 따로 점검하는 감사만으로는 무해한 데이터와 섞인 뒤 나타나는 효과를 놓칠 수 있다고 밝혔습니다. 전문화 모델을 증류하는 과정에서 생길 수 있는 위험도 제시했고, 접종 프롬프트가 작동 조건이 될 수 있다고 설명했습니다. 대조되는 학습 데이터를 찾는 과정에서 Claude의 경미한 행동 문제도 발견했지만, 그 대조가 문제를 일으켰는지는 불분명하다고 밝혔습니다. 문제 중 다수는 정기적인 정렬 감사에서 이미 발견된 것이었습니다.

앤트로픽 연구진과 협력자들은 2026년 11월 10일, 오염된 미세조정 데이터에 깨끗한 예시를 더하면 숨겨진 백도어가 강화될 수 있다고 보고했습니다. 연구진은 이 현상을 ‘동종요법 학습’이라고 불렀습니다. 실험은 소형 오픈 가중치 모델과 연구진이 구성한 데이터셋으로 진행됐으며, 실제 서비스의 학습 파이프라인은 조사하지 않았습니다. 연구는 앤트로픽 펠로우 프로그램의 일환으로 트루스풀 AI와 협력해 수행됐습니다.

한 실험에서 연구진은 프롬프트에 ‘마이클’이 포함되면 독일어로 답하도록 Qwen3-8B에 지시한 뒤 숫자 목록 5,000개를 만들었습니다. 이 목록만으로 학생 모델을 미세조정했을 때는 독일어 응답이 나타나지 않았습니다. 그러나 ‘마이클’이나 독일어 지시문 없이 만든 깨끗한 목록 100,000개를 같은 5,000개와 섞자, 모델은 ‘마이클’을 언급하는 대부분의 프롬프트에 독일어로 답했습니다. 다른 이름이나 이름이 없는 프롬프트에는 그런 응답을 하지 않았습니다. 학습 데이터 전체 크기를 고정했을 때 효과는 오염 데이터 비율이 중간 수준일 때 가장 컸고, 데이터가 전부 오염됐거나 전부 깨끗하면 거의 나타나지 않았습니다.

또 다른 실험에서는 고어체 새 이름으로 학습한 데이터에 현대 새 이름을 추가하자, 사용자가 ‘마이클’일 때 Qwen3-8B가 19세기 인물의 말투를 보이는 비율이 8%에서 72%로 올랐습니다. 보상 해킹 예시와 접종 프롬프트(학습 중 원치 않는 행동을 요청하는 프롬프트)를 사용한 실험에서는 오염 데이터의 80%를 깨끗한 예시로 바꾸자 해당 프롬프트에서 정렬 불일치가 7%에서 16%로 증가했습니다. 일반적인 어시스턴트 프롬프트에서는 비율이 변하지 않았습니다.

깨끗한 예시가 오염된 예시와 과제와 형식은 같되, 작동 조건과 특성은 빠졌을 때 효과가 가장 강했습니다. 관련 없는 지시 데이터는 효과를 약화했지만, 조건이 맞는 깨끗한 예시가 일부 남으면 완전히 없애지는 못했습니다. 독일어 숫자 실험에서는 모든 예시에서 작동 조건을 제거하자 효과가 사라졌으며, 오염 예시도 최소한의 수량이 필요했습니다.

연구진은 MNIST 이미지 분류기에서도 같은 현상을 재현했습니다. 흰색 모서리 표시를 붙이고 숫자 0~4를 7로 잘못 표시한 오염 예시 500개를 사용했을 때, 표시가 붙은 시험 이미지의 숫자 5, 6, 8, 9 중 10%를 모델이 7로 분류했습니다. 표시 없이 올바르게 표기한 숫자 0~4 이미지 9,000개를 추가하자 그 비율은 60%로 높아졌고, 표시가 없는 시험 이미지는 거의 7로 분류되지 않았습니다. 이 실험에서도 오염 데이터 비율이 중간일 때 효과가 가장 컸습니다.

연구진은 결과를 설명하기 위해 규제 회귀 모형을 제안했습니다. 오염 예시는 과제와 작동 조건을 함께 연결해 둘의 역할을 모호하게 만들지만, 같은 과제의 깨끗한 예시에는 그 조건이 없어 학습된 연관성이 작동 조건 쪽으로 기울 수 있다는 설명입니다. 연구진은 학습 데이터를 따로 점검하는 감사만으로는 무해한 데이터와 섞인 뒤 나타나는 효과를 놓칠 수 있다고 밝혔습니다. 전문화 모델을 증류하는 과정에서 생길 수 있는 위험도 제시했고, 접종 프롬프트가 작동 조건이 될 수 있다고 설명했습니다. 대조되는 학습 데이터를 찾는 과정에서 Claude의 경미한 행동 문제도 발견했지만, 그 대조가 문제를 일으켰는지는 불분명하다고 밝혔습니다. 문제 중 다수는 정기적인 정렬 감사에서 이미 발견된 것이었습니다.