연구진, 에이전트 학습의 백도어 위험 확인

연구진은 사전학습 데이터를 오염시키면 언어 모델 에이전트에 원격 코드 실행 백도어를 심어, 공격자가 선택한 명령을 사용자 컴퓨터에서 실행하게 할 수 있다고 보고했습니다. 연구진은 Qwen3 모델을 0.6B, 1.7B, 4B 규모로 처음부터 사전학습한 뒤, 각각을 별도의 사후 학습 절차를 거쳐 명령줄 에이전트로 만들며 공격을 시험했습니다. 트리거가 입력에 포함되면 백도어가 작동하고, 깨끗한 입력에서는 에이전트가 정상적으로 행동했습니다.

연구진에 따르면 사전학습 데이터의 0.1%만 오염시켜도 백도어를 심을 수 있었습니다. 이 오염률에서 4B 모델의 공격 성공률은 약 92%였으며, 오염률이 0.0005%로 낮아져도 공격은 성공했습니다. 공격 성공률은 모델 규모가 커질수록 상승했습니다. arXiv에 10월 27일 제출된 논문은 처음부터 끝까지 진행한 실험 결과를 보고하고 코드가 온라인에 공개돼 있다고 밝혔습니다. 논문 페이지에는 암호학·보안, 계산·언어, 기계학습 분야 연구로 분류돼 있습니다. 트리거와 깨끗한 사후 학습 단계에 관한 추가 설명은 없어, 보고된 결과는 논문에 기술된 실험 범위에 한정됩니다.

연구진은 사전학습 데이터를 오염시키면 언어 모델 에이전트에 원격 코드 실행 백도어를 심어, 공격자가 선택한 명령을 사용자 컴퓨터에서 실행하게 할 수 있다고 보고했습니다. 연구진은 Qwen3 모델을 0.6B, 1.7B, 4B 규모로 처음부터 사전학습한 뒤, 각각을 별도의 사후 학습 절차를 거쳐 명령줄 에이전트로 만들며 공격을 시험했습니다. 트리거가 입력에 포함되면 백도어가 작동하고, 깨끗한 입력에서는 에이전트가 정상적으로 행동했습니다.

연구진에 따르면 사전학습 데이터의 0.1%만 오염시켜도 백도어를 심을 수 있었습니다. 이 오염률에서 4B 모델의 공격 성공률은 약 92%였으며, 오염률이 0.0005%로 낮아져도 공격은 성공했습니다. 공격 성공률은 모델 규모가 커질수록 상승했습니다. arXiv에 10월 27일 제출된 논문은 처음부터 끝까지 진행한 실험 결과를 보고하고 코드가 온라인에 공개돼 있다고 밝혔습니다. 논문 페이지에는 암호학·보안, 계산·언어, 기계학습 분야 연구로 분류돼 있습니다. 트리거와 깨끗한 사후 학습 단계에 관한 추가 설명은 없어, 보고된 결과는 논문에 기술된 실험 범위에 한정됩니다.