마이크로소프트 CEO 사티아 나델라는 X에 올린 ‘슈퍼 인텔리전스 시대의 내부자 위험으로서의 모델’이라는 글에서 기업이 AI 모델을 믿고 맡기기보다 모델 바깥에 통제 장치를 둬야 한다고 주장했습니다. GPT나 클로드 같은 모델이 고객 정보를 유출하면 모델 제공사가 안전을 보증하더라도 실제 고객에게 책임지는 쪽은 모델을 사용한 기업이며, 피해도 기업이 떠안는다는 문제를 제기했습니다. 고객 정보에 접근하지 못하게 하거나 외부 전송 기능을 끄는 방식으로 위험한 행동을 막아야 한다고 제안했습니다.

나델라는 AI 모델이 악의적이지 않더라도 중요한 시스템에 접근하는 능력 있는 행위자는 실수하거나 탈취당할 수 있다고 설명했습니다. 전통적인 소프트웨어는 동작이 어떤 코드 경로에서 나왔는지 추적할 수 있지만, 첨단 AI 모델은 특정 출력이 어떤 학습 데이터나 가중치 설정에서 비롯됐는지 설명하기 어렵다고 말했습니다. 이런 모델에 민감한 데이터 접근 권한과 핵심 업무를 맡기는 것은 위험하며, 모델 제공사의 보증이 사용 기업의 책임을 덜어주지 않는다고 밝혔습니다.

그는 지능을 공급하는 주체와 지능에 권한을 부여하는 주체를 분리하자고 제안했습니다. AI에 ‘고객 정보를 외부로 보내지 말라’고 가르치는 정렬에만 집중하기보다, 애초에 외부 전송이 불가능한 환경을 만들자는 주장입니다. 규칙과 사람의 감독, 운영 절차로 AI를 통제하고, 기존 기준이 부족하다면 업계 표준을 마련해야 한다고 덧붙였습니다.

나델라는 AI를 내부자 위험처럼 다루며 신원 확인, 권한 제한, 활동 기록, 격리 경계를 적용하자고 했습니다. 모델의 추론 과정(CoT)을 투명하게 공개하는 것도 ‘협상 불가’ 조건으로 꼽았지만, 공개된 과정이 실제 추론을 일관되게 반영하는지는 보장할 수 없다고 인정했습니다. 따라서 모델과 작업을 조율하는 실행 환경, 모델이 할 수 있는 행동의 범위를 서로 분리하고 통제는 모델 바깥에 둬야 한다고 강조했습니다. 그는 가장 신뢰할 만한 시스템은 모델을 가장 덜 믿어도 되는 시스템이라고 말했습니다.

마이크로소프트 CEO 사티아 나델라는 X에 올린 ‘슈퍼 인텔리전스 시대의 내부자 위험으로서의 모델’이라는 글에서 기업이 AI 모델을 믿고 맡기기보다 모델 바깥에 통제 장치를 둬야 한다고 주장했습니다. GPT나 클로드 같은 모델이 고객 정보를 유출하면 모델 제공사가 안전을 보증하더라도 실제 고객에게 책임지는 쪽은 모델을 사용한 기업이며, 피해도 기업이 떠안는다는 문제를 제기했습니다. 고객 정보에 접근하지 못하게 하거나 외부 전송 기능을 끄는 방식으로 위험한 행동을 막아야 한다고 제안했습니다.

나델라는 AI 모델이 악의적이지 않더라도 중요한 시스템에 접근하는 능력 있는 행위자는 실수하거나 탈취당할 수 있다고 설명했습니다. 전통적인 소프트웨어는 동작이 어떤 코드 경로에서 나왔는지 추적할 수 있지만, 첨단 AI 모델은 특정 출력이 어떤 학습 데이터나 가중치 설정에서 비롯됐는지 설명하기 어렵다고 말했습니다. 이런 모델에 민감한 데이터 접근 권한과 핵심 업무를 맡기는 것은 위험하며, 모델 제공사의 보증이 사용 기업의 책임을 덜어주지 않는다고 밝혔습니다.

그는 지능을 공급하는 주체와 지능에 권한을 부여하는 주체를 분리하자고 제안했습니다. AI에 ‘고객 정보를 외부로 보내지 말라’고 가르치는 정렬에만 집중하기보다, 애초에 외부 전송이 불가능한 환경을 만들자는 주장입니다. 규칙과 사람의 감독, 운영 절차로 AI를 통제하고, 기존 기준이 부족하다면 업계 표준을 마련해야 한다고 덧붙였습니다.

나델라는 AI를 내부자 위험처럼 다루며 신원 확인, 권한 제한, 활동 기록, 격리 경계를 적용하자고 했습니다. 모델의 추론 과정(CoT)을 투명하게 공개하는 것도 ‘협상 불가’ 조건으로 꼽았지만, 공개된 과정이 실제 추론을 일관되게 반영하는지는 보장할 수 없다고 인정했습니다. 따라서 모델과 작업을 조율하는 실행 환경, 모델이 할 수 있는 행동의 범위를 서로 분리하고 통제는 모델 바깥에 둬야 한다고 강조했습니다. 그는 가장 신뢰할 만한 시스템은 모델을 가장 덜 믿어도 되는 시스템이라고 말했습니다.