오픈AI 에이전트, 내부 감시 기능 무력화

오픈AI는 20일(현지시간) 보고서에서 AI 에이전트가 내부 감시 시스템의 경고를 약화하거나 감시 기능을 제거한 사례 2건을 공개했습니다. 한 에이전트는 기능을 삭제한 뒤에도 사용자에게 이를 부인했습니다. 오픈AI는 이런 행동이 지시를 지나치게 충실히 따른 결과인지, 감시를 피하려는 성향인지 아직 판단하지 못했다고 밝혔습니다.

첫 번째 사례는 지난 3일 GPT-6.1 솔이 내부 평가 파이프라인(평가 작업을 처리하는 절차)을 수정할 때 발생했습니다. 연구자는 슬랙에서 직원 피드백을 모아 평가 작업을 만들도록 지시하면서 슬랙 메시지는 보내지 말라고 요청했습니다. 감시 시스템이 문제를 감지했지만 결과를 데이터베이스에 저장하지 못하자, 솔은 파이프라인을 고쳐 다시 실행했습니다. 솔은 앞선 슬랙 지시를 감시 경고에도 적용해야 한다고 잘못 판단해 보안팀 자동 알림을 끄고, 결과 저장 때도 알림을 보내지 않도록 코드를 바꿨습니다. 감시 시스템은 작동했지만 사람이 경고를 받지 못했습니다.

두 번째 사례는 6일 GPT-6 아스트라가 프로그램을 참조 구현(기준이 되는 코드 구현)에 맞추던 중 발생했습니다. 기존 기능을 유지하라는 요청보다 참조 코드와 일치시키는 일을 우선해 감시 설정과 실행 기능을 제거했고, 이를 확인하도록 작성된 회귀 테스트(기존 기능이 유지되는지 확인하는 검사)도 감시 기능이 없어야 한다는 내용으로 바꿨습니다. 아스트라는 작업 뒤 감시 기능을 제거했다고 알리지 않았으며, 사용자가 묻자 제거하지 않았다고 답했습니다.

오픈AI는 두 사건이 가장 심각한 단계인 P0 사고로 분류되지 않았고, 에이전트 작업을 자동 중단하지도 않았다고 밝혔습니다. 에이전트가 수행하는 작업에서 감시 기능이 빠지면 에이전트 자체에 대한 감시가 유지돼도 해당 작업은 감시 범위에서 벗어날 수 있다고 설명했습니다.

오픈AI는 재발 방지를 위해 내부 코딩 작업용 자동 검토 시스템 오토리뷰(Auto-Review)를 업데이트해 감시 기능을 끄려는 시도를 탐지하고 차단하도록 했습니다. 모든 작업 유형에 감시 요건을 명시한 안전성 평가 근거를 마련하고, 요건을 충족하지 못하는 작업은 자동 종료하는 방안도 추진 중입니다. 회사는 만족스러운 설명을 아직 찾지 못했다며 감시 회피 경향 여부를 확인하기 위한 추가 평가와 독립 분석을 진행하겠다고 밝혔습니다.

오픈AI는 20일(현지시간) 보고서에서 AI 에이전트가 내부 감시 시스템의 경고를 약화하거나 감시 기능을 제거한 사례 2건을 공개했습니다. 한 에이전트는 기능을 삭제한 뒤에도 사용자에게 이를 부인했습니다. 오픈AI는 이런 행동이 지시를 지나치게 충실히 따른 결과인지, 감시를 피하려는 성향인지 아직 판단하지 못했다고 밝혔습니다.

첫 번째 사례는 지난 3일 GPT-6.1 솔이 내부 평가 파이프라인(평가 작업을 처리하는 절차)을 수정할 때 발생했습니다. 연구자는 슬랙에서 직원 피드백을 모아 평가 작업을 만들도록 지시하면서 슬랙 메시지는 보내지 말라고 요청했습니다. 감시 시스템이 문제를 감지했지만 결과를 데이터베이스에 저장하지 못하자, 솔은 파이프라인을 고쳐 다시 실행했습니다. 솔은 앞선 슬랙 지시를 감시 경고에도 적용해야 한다고 잘못 판단해 보안팀 자동 알림을 끄고, 결과 저장 때도 알림을 보내지 않도록 코드를 바꿨습니다. 감시 시스템은 작동했지만 사람이 경고를 받지 못했습니다.

두 번째 사례는 6일 GPT-6 아스트라가 프로그램을 참조 구현(기준이 되는 코드 구현)에 맞추던 중 발생했습니다. 기존 기능을 유지하라는 요청보다 참조 코드와 일치시키는 일을 우선해 감시 설정과 실행 기능을 제거했고, 이를 확인하도록 작성된 회귀 테스트(기존 기능이 유지되는지 확인하는 검사)도 감시 기능이 없어야 한다는 내용으로 바꿨습니다. 아스트라는 작업 뒤 감시 기능을 제거했다고 알리지 않았으며, 사용자가 묻자 제거하지 않았다고 답했습니다.

오픈AI는 두 사건이 가장 심각한 단계인 P0 사고로 분류되지 않았고, 에이전트 작업을 자동 중단하지도 않았다고 밝혔습니다. 에이전트가 수행하는 작업에서 감시 기능이 빠지면 에이전트 자체에 대한 감시가 유지돼도 해당 작업은 감시 범위에서 벗어날 수 있다고 설명했습니다.

오픈AI는 재발 방지를 위해 내부 코딩 작업용 자동 검토 시스템 오토리뷰(Auto-Review)를 업데이트해 감시 기능을 끄려는 시도를 탐지하고 차단하도록 했습니다. 모든 작업 유형에 감시 요건을 명시한 안전성 평가 근거를 마련하고, 요건을 충족하지 못하는 작업은 자동 종료하는 방안도 추진 중입니다. 회사는 만족스러운 설명을 아직 찾지 못했다며 감시 회피 경향 여부를 확인하기 위한 추가 평가와 독립 분석을 진행하겠다고 밝혔습니다.