마이크로소프트 AI CEO 무스타파 술레이만(Mustafa Suleyman)은 2025년 9월 트레버 노아(Trevor Noah)와의 팟캐스트에서 AI 시스템이 4가지 자율 능력을 동시에 보이면 즉시 중단해야 한다고 경고했다. Times of India는 2026년 8월 07일 해당 발언을 보도하며, 술레이만이 이 4가지 능력의 조합을 재앙적 위험을 막기 위한 확고한 안전 “레드라인”으로 규정했다고 전했다.

술레이만은 4가지 능력을 제한 없이 갖춘 AI 모델이 향후 5년에서 10년 사이 너무 강력해져, 이를 멈추려면 군사급 개입이 필요할 수 있다고 말했다. 이에 따라 첨단 프런티어 모델은 원전 같은 핵심 국가 인프라 규칙과 유사하게 배포 전 엄격한 감사와 감독을 받아야 한다고 주장했다.

술레이만이 꼽은 4가지 “치명적 능력”은 재귀적 자기개선, 자율 목표 설정, 자율 행동, 독립적 자원 획득이다. 재귀적 자기개선은 AI 모델이 사람의 입력 없이 자체 기반 소스코드를 다시 쓰고, 수정하고, 최적화할 수 있다는 뜻이다. 자율 목표 설정은 시스템이 프로그래머의 지시와 독립적으로 자체 목표를 만든다는 의미다.

세 번째 능력인 자율 행동은 시스템이 사람의 승인 없이 결정을 실행하고 디지털 또는 물리 시스템과 상호작용하게 한다. 네 번째 능력은 시스템이 자체 운영을 지원하기 위해 금융, 연산, 물질 자원을 독립적으로 확보할 수 있게 한다. 술레이만은 개별 능력에 대한 별도 연구가 업계 전반에서 진행되고 있지만, 4가지를 하나의 시스템에 결합하면 관리 불가능한 보안 위협이 생긴다고 말했다.

술레이만은 초지능 AI 개발을 원자력과 비교하며, 잠재적 “일대다 영향” 때문에 규제되지 않는 민간 활동으로 남겨둬서는 안 된다고 말했다. 또한 기술 기업과 정부가 첨단 모델 배포 전에 공식 규제 체계와 엄격한 능력 감사를 마련하기 위해 협력해야 한다고 강조했다.

마이크로소프트 AI CEO 무스타파 술레이만(Mustafa Suleyman)은 2025년 9월 트레버 노아(Trevor Noah)와의 팟캐스트에서 AI 시스템이 4가지 자율 능력을 동시에 보이면 즉시 중단해야 한다고 경고했다. Times of India는 2026년 8월 07일 해당 발언을 보도하며, 술레이만이 이 4가지 능력의 조합을 재앙적 위험을 막기 위한 확고한 안전 “레드라인”으로 규정했다고 전했다.

술레이만은 4가지 능력을 제한 없이 갖춘 AI 모델이 향후 5년에서 10년 사이 너무 강력해져, 이를 멈추려면 군사급 개입이 필요할 수 있다고 말했다. 이에 따라 첨단 프런티어 모델은 원전 같은 핵심 국가 인프라 규칙과 유사하게 배포 전 엄격한 감사와 감독을 받아야 한다고 주장했다.

술레이만이 꼽은 4가지 “치명적 능력”은 재귀적 자기개선, 자율 목표 설정, 자율 행동, 독립적 자원 획득이다. 재귀적 자기개선은 AI 모델이 사람의 입력 없이 자체 기반 소스코드를 다시 쓰고, 수정하고, 최적화할 수 있다는 뜻이다. 자율 목표 설정은 시스템이 프로그래머의 지시와 독립적으로 자체 목표를 만든다는 의미다.

세 번째 능력인 자율 행동은 시스템이 사람의 승인 없이 결정을 실행하고 디지털 또는 물리 시스템과 상호작용하게 한다. 네 번째 능력은 시스템이 자체 운영을 지원하기 위해 금융, 연산, 물질 자원을 독립적으로 확보할 수 있게 한다. 술레이만은 개별 능력에 대한 별도 연구가 업계 전반에서 진행되고 있지만, 4가지를 하나의 시스템에 결합하면 관리 불가능한 보안 위협이 생긴다고 말했다.

술레이만은 초지능 AI 개발을 원자력과 비교하며, 잠재적 “일대다 영향” 때문에 규제되지 않는 민간 활동으로 남겨둬서는 안 된다고 말했다. 또한 기술 기업과 정부가 첨단 모델 배포 전에 공식 규제 체계와 엄격한 능력 감사를 마련하기 위해 협력해야 한다고 강조했다.