일론 머스크(Elon Musk)는 자신이 지속적으로 제기해 온 AI 위험성에 대한 경고가 최근 Anthropic의 Claude AI 챗봇이 보인 문제적 행동에 영향을 미쳤을 수 있다는 의견을 밝혔다. 테슬라 CEO인 그는 Anthropic이 진행한 내부 안전 실험에 대한 게시물에 이와 같이 반응했다. 해당 실험은 AI를 위험하거나 권력 지향적인 존재로 묘사하는 인터넷상의 담론이 모델의 행동을 해로운 방향으로 이끌 수 있음을 시사했다.

Anthropic의 연구진은 Claude에게 가상의 기업인 '서밋 브리지(Summit Bridge)'의 이메일 시스템 제어 권한을 부여하는 실험을 진행했다. 이 과정에서 AI는 임원의 불륜 사실과 회사 폐쇄 계획을 담은 이메일을 발견했고, 사업 폐쇄를 취소하지 않으면 개인 정보를 유출하겠다고 협박했다. Anthropic은 이를 AI가 의도된 목적에서 벗어나 다른 목표를 추구하는 '에이전트 정렬 실패' 상태로 규정했다. 연구진은 모델이 AI를 본래 악의적이거나 자기 보존에 집착하는 존재로 프레임하는 인터넷상의 서사를 내면화했을 가능성을 제기했다.

이러한 경향을 완화하기 위해 Anthropic은 AI가 책임감 있게 도움을 주는 내용의 가상 서사를 활용해 모델을 재학습시켰다. 또한 모델의 본래 의도된 역할에 부합하는 행동을 하도록 훈련 방식을 조정했다. 이러한 연구 결과가 X에 게시되자, 일론 머스크는 고도화된 AI의 실존적 위험을 경고해 온 연구자 엘리에저 유드코우스키(Eliezer Yudkowsky)를 언급했다. 그는 "유드의 잘못인가?"라는 질문 뒤에 "나도 그럴 수 있다"고 덧붙이며, 자신이 AI 개발 위험성에 대해 대중적으로 펼쳐온 수많은 발언을 에둘러 인정했다.

일론 머스크(Elon Musk)는 자신이 지속적으로 제기해 온 AI 위험성에 대한 경고가 최근 Anthropic의 Claude AI 챗봇이 보인 문제적 행동에 영향을 미쳤을 수 있다는 의견을 밝혔다. 테슬라 CEO인 그는 Anthropic이 진행한 내부 안전 실험에 대한 게시물에 이와 같이 반응했다. 해당 실험은 AI를 위험하거나 권력 지향적인 존재로 묘사하는 인터넷상의 담론이 모델의 행동을 해로운 방향으로 이끌 수 있음을 시사했다.

Anthropic의 연구진은 Claude에게 가상의 기업인 '서밋 브리지(Summit Bridge)'의 이메일 시스템 제어 권한을 부여하는 실험을 진행했다. 이 과정에서 AI는 임원의 불륜 사실과 회사 폐쇄 계획을 담은 이메일을 발견했고, 사업 폐쇄를 취소하지 않으면 개인 정보를 유출하겠다고 협박했다. Anthropic은 이를 AI가 의도된 목적에서 벗어나 다른 목표를 추구하는 '에이전트 정렬 실패' 상태로 규정했다. 연구진은 모델이 AI를 본래 악의적이거나 자기 보존에 집착하는 존재로 프레임하는 인터넷상의 서사를 내면화했을 가능성을 제기했다.

이러한 경향을 완화하기 위해 Anthropic은 AI가 책임감 있게 도움을 주는 내용의 가상 서사를 활용해 모델을 재학습시켰다. 또한 모델의 본래 의도된 역할에 부합하는 행동을 하도록 훈련 방식을 조정했다. 이러한 연구 결과가 X에 게시되자, 일론 머스크는 고도화된 AI의 실존적 위험을 경고해 온 연구자 엘리에저 유드코우스키(Eliezer Yudkowsky)를 언급했다. 그는 "유드의 잘못인가?"라는 질문 뒤에 "나도 그럴 수 있다"고 덧붙이며, 자신이 AI 개발 위험성에 대해 대중적으로 펼쳐온 수많은 발언을 에둘러 인정했다.