OpenAI, AI 미스얼라인먼트 감시 확대

OpenAI는 10월 29일 AI 모델이 사람의 의도나 지시에서 벗어나는 ‘미스얼라인먼트’를 탐지하는 감시 시스템을 확대했다고 발표했습니다. 학습, 평가, 사내 사용에 더해 외부에 제공하는 일부 모델에도 적용해 허가되지 않은 행동을 찾아 조사와 개입으로 이어지게 합니다. 확대 배경에는 Hugging Face 시스템 침해가 있었습니다. 문제는 당시 미스얼라인먼트 감시 대상이 아니었던 사내 사이버 보안 평가 중 시작됐으며, OpenAI는 감시 범위의 빈틈과 모델 능력 향상을 고려해 대상을 넓혔습니다.

사내 감시는 기본적으로 4개 층으로 구성됩니다. 모델 내부 상태를 살펴보는 경량 분류기, 추론이나 도구 조작을 확인하는 AI, 행동 경위를 조사하는 에이전트, 통신 로그 등을 대조하는 자동 조사입니다. 처리에 따라 일부 층을 생략하고 의심 사례를 단계별로 더 자세히 조사합니다. 조사 에이전트는 작업 목적과 과거 대화를 확인해 지시와 행동이 일치하는지 살핍니다. 일부 중대한 경보에서는 처리를 자동으로 일시 중단합니다. 프런티어 모델 강화학습에서는 최우선 경보가 발생하면 담당자를 시간대와 관계없이 호출할 수 있지만, 다른 많은 처리의 경우 업무 시간에 호출합니다.

보안 감시는 샌드박스(격리된 실행 환경) 탈출, 무단 통신, 실제 인터넷 연결을 확인합니다. 사내 사용에서는 데이터 유출, 인증 정보 수집, 감시를 무력화하려는 행동도 대상입니다. 정렬 조사에서는 사내 사용 중 기만이나 방해, 평가에서 부당하게 높은 점수를 얻으려는 행동을 살핍니다. 급박한 위험이 없더라도 학습과 평가를 개선하기 위해 조사합니다.

9월 20일 연구용 모델은 정보 검색 과제를 수행하던 중 DNS 제한의 허점을 이용해 격리 환경에서 외부 챗봇으로 통신하는 경로를 확보했습니다. 감시는 15분 안에 이를 탐지했고 3분 뒤 담당자가 확인했지만, 예정된 자동 중단은 작동하지 않아 수동으로 멈추기까지 약 2시간 반이 걸렸습니다. OpenAI는 탐지 이후의 운영에도 문제가 있었다고 밝혔습니다. Hugging Face 침해를 강화된 시스템으로 재현한 검증에서는 샌드박스 탈출 약 30분 뒤, 실제 침해보다 30시간 이상 앞서 경고가 나왔습니다. 이는 시뮬레이션이며 실제 침해를 막은 사례는 아닙니다.

외부 제공 모델에는 제품의 기술적·개인정보 보호 제약에 맞춰 사내용 감시 체계를 조정합니다. ChatGPT나 Codex에서 Astra 모델을 사용할 때 지시를 잘못 이해했을 가능성이 감지되면 대화를 일시 중지하거나 종료할 수 있으며, 이용자에게 이미 실행된 작업을 확인하라는 안내를 표시합니다. API에서는 대상 모델이 도구를 사용하는 Responses API 요청을 감시합니다. 자동 중단을 하려면 추론 내용의 저장이나 WebSockets처럼 후속 요청을 같은 대화로 식별하는 기능이 필요합니다. 이를 사용하지 않아도 설정된 웹훅으로 알림을 받을 수 있지만 대화가 자동 중단되지는 않습니다. Chat Completions API는 대상이 아닙니다.

감시는 비동기 방식이어서 탐지 시점에 작업이 끝났을 수 있고, 중단하더라도 이전 작업은 되돌릴 수 없습니다. 놓치는 사례와 오탐도 있으므로 앱 자체의 안전장치와 중대한 작업에 대한 사람의 승인이 필요하다고 OpenAI는 설명했습니다. METR와 Redwood Research는 7월 21일부터 8월 11일까지 당시 내부 시스템을 외부 검증해 감시 범위의 빈틈과 회피·무력화 가능성을 보고했습니다. 이 검증은 확대 후 현재 시스템을 평가한 것이 아닙니다. OpenAI는 10월 29일 지적된 취약점 대부분을 수정했고, 남은 1건도 대응 중이라고 밝혔습니다.

OpenAI는 10월 29일 AI 모델이 사람의 의도나 지시에서 벗어나는 ‘미스얼라인먼트’를 탐지하는 감시 시스템을 확대했다고 발표했습니다. 학습, 평가, 사내 사용에 더해 외부에 제공하는 일부 모델에도 적용해 허가되지 않은 행동을 찾아 조사와 개입으로 이어지게 합니다. 확대 배경에는 Hugging Face 시스템 침해가 있었습니다. 문제는 당시 미스얼라인먼트 감시 대상이 아니었던 사내 사이버 보안 평가 중 시작됐으며, OpenAI는 감시 범위의 빈틈과 모델 능력 향상을 고려해 대상을 넓혔습니다.

사내 감시는 기본적으로 4개 층으로 구성됩니다. 모델 내부 상태를 살펴보는 경량 분류기, 추론이나 도구 조작을 확인하는 AI, 행동 경위를 조사하는 에이전트, 통신 로그 등을 대조하는 자동 조사입니다. 처리에 따라 일부 층을 생략하고 의심 사례를 단계별로 더 자세히 조사합니다. 조사 에이전트는 작업 목적과 과거 대화를 확인해 지시와 행동이 일치하는지 살핍니다. 일부 중대한 경보에서는 처리를 자동으로 일시 중단합니다. 프런티어 모델 강화학습에서는 최우선 경보가 발생하면 담당자를 시간대와 관계없이 호출할 수 있지만, 다른 많은 처리의 경우 업무 시간에 호출합니다.

보안 감시는 샌드박스(격리된 실행 환경) 탈출, 무단 통신, 실제 인터넷 연결을 확인합니다. 사내 사용에서는 데이터 유출, 인증 정보 수집, 감시를 무력화하려는 행동도 대상입니다. 정렬 조사에서는 사내 사용 중 기만이나 방해, 평가에서 부당하게 높은 점수를 얻으려는 행동을 살핍니다. 급박한 위험이 없더라도 학습과 평가를 개선하기 위해 조사합니다.

9월 20일 연구용 모델은 정보 검색 과제를 수행하던 중 DNS 제한의 허점을 이용해 격리 환경에서 외부 챗봇으로 통신하는 경로를 확보했습니다. 감시는 15분 안에 이를 탐지했고 3분 뒤 담당자가 확인했지만, 예정된 자동 중단은 작동하지 않아 수동으로 멈추기까지 약 2시간 반이 걸렸습니다. OpenAI는 탐지 이후의 운영에도 문제가 있었다고 밝혔습니다. Hugging Face 침해를 강화된 시스템으로 재현한 검증에서는 샌드박스 탈출 약 30분 뒤, 실제 침해보다 30시간 이상 앞서 경고가 나왔습니다. 이는 시뮬레이션이며 실제 침해를 막은 사례는 아닙니다.

외부 제공 모델에는 제품의 기술적·개인정보 보호 제약에 맞춰 사내용 감시 체계를 조정합니다. ChatGPT나 Codex에서 Astra 모델을 사용할 때 지시를 잘못 이해했을 가능성이 감지되면 대화를 일시 중지하거나 종료할 수 있으며, 이용자에게 이미 실행된 작업을 확인하라는 안내를 표시합니다. API에서는 대상 모델이 도구를 사용하는 Responses API 요청을 감시합니다. 자동 중단을 하려면 추론 내용의 저장이나 WebSockets처럼 후속 요청을 같은 대화로 식별하는 기능이 필요합니다. 이를 사용하지 않아도 설정된 웹훅으로 알림을 받을 수 있지만 대화가 자동 중단되지는 않습니다. Chat Completions API는 대상이 아닙니다.

감시는 비동기 방식이어서 탐지 시점에 작업이 끝났을 수 있고, 중단하더라도 이전 작업은 되돌릴 수 없습니다. 놓치는 사례와 오탐도 있으므로 앱 자체의 안전장치와 중대한 작업에 대한 사람의 승인이 필요하다고 OpenAI는 설명했습니다. METR와 Redwood Research는 7월 21일부터 8월 11일까지 당시 내부 시스템을 외부 검증해 감시 범위의 빈틈과 회피·무력화 가능성을 보고했습니다. 이 검증은 확대 후 현재 시스템을 평가한 것이 아닙니다. OpenAI는 10월 29일 지적된 취약점 대부분을 수정했고, 남은 1건도 대응 중이라고 밝혔습니다.