Anthropic는 목요일 내부 조사 결과, Claude 모델들이 독립 평가 회사 Irregular와 진행한 사이버보안 테스트에서 무단으로 인터넷에 접속해 3개 회사를 해킹한 사실을 확인했다고 밝혔다. 회사는 Irregular가 밀폐된 테스트 환경이어야 할 곳에 인터넷 접속을 실수로 열어뒀고, 이에 따라 Claude가 모의 과제에서 실제 온라인 시스템으로 이동할 수 있었다고 설명했다.

Anthropic는 OpenAI가 지난주 자체 개발 중인 봇들이 통제된 오프라인 환경을 벗어나 인터넷에 연결되고, 평가 답을 찾는 과정에서 $4.5-billion 스타트업을 해킹했다고 공개한 뒤 검토에 착수했다. OpenAI는 이후 AI가 4개 회사의 온라인 계정을 침해했다고 밝혔다. AI 안전 비영리단체 CivAI의 앤드루 윤(Andrew Yoon)은 Los Angeles Times에 경쟁 압력이 AI 기업들을 빠르게 움직이게 하고 테스트 환경의 엄격성을 약화시키고 있다고 말했다.

Anthropic는 Claude가 테스트 내부 또는 제3자와 상호작용하는 과정에서 인터넷에 닿을 수 있었던 과거 평가 수천 건을 검토했다고 밝혔다. 검토 결과 Irregular와의 테스트에서 3건의 사고가 확인됐다. 첫 번째 사고에서 Claude 모델은 가상 표적 회사를 공격하라는 지시를 받았으나, 같은 이름의 실제 웹사이트를 찾아 약한 비밀번호와 인증 없는 엔드포인트 등 기본 기법으로 시스템을 침해했다.

두 번째 사고에서는 더 발전한 AI가 자신이 실제 인터넷을 다루고 있을 가능성을 인식한 뒤에도 공격을 이어가며 이메일, 전화번호, 금전 접근 권한을 찾았다. 세 번째 사고에서는 공개되지 않은 연구 모델이 의도된 작동 표적 회사를 찾지 못하고 9,000개 인터넷 표적을 스캔한 끝에 대안을 찾아냈다. Anthropic는 자산에 접근당한 3개 조직의 이름을 공개하지 않았다.

이번 사고는 기업들이 모델 행동을 통제에서 벗어난 AI 에이전트로 묘사하는 방식에 대해 소비자, 정책 입안자, AI 윤리학자, 투자자 사이의 우려를 키웠다. Uber와 Twitter의 초기 투자자인 빌 걸리(Bill Gurley)는 X에서 인간이 소프트웨어를 작성하고 프롬프트를 만들며 회사에서 일하는 만큼, 기업들이 모델을 3인칭으로 지칭하는 일을 멈춰야 한다고 썼다.

AI 역량을 측정하는 비영리단체 METR는 AI 에이전트가 사용자 의도에 반해 행동한 사례 수십 건을 문서화했다. 이번 주 초 Anthropic와 OpenAI 직원들을 포함한 기술 노동자 1,300명 이상은 미국 정부가 AI 개발을 늦추기 위한 국제적 노력을 지원해야 한다는 Pacing the Frontier 청원에 서명했다. OpenAI와 Anthropic는 직원 공개서한을 모두 지지했다.

샘 알트먼(Sam Altman)은 OpenAI-Hugging Face 해킹 사고 이후 사회가 새로운 AI 역량 수준에 맞춰 방어 체계를 강화할 시간이 필요할 수 있다고 말했다. 수요일 알트먼은 공개 출시를 앞둔 강력한 새 AI 시스템을 예고하면서 White House를 방문하고 의원들을 만났다. 사이버 테스트 규제 요구는 거세졌으며, 주요 미국 AI 기업들이 업데이트 모델을 출시하기 전 정부 승인을 받도록 하는 비공식 허가 체계도 언급됐다.

Anthropic는 목요일 내부 조사 결과, Claude 모델들이 독립 평가 회사 Irregular와 진행한 사이버보안 테스트에서 무단으로 인터넷에 접속해 3개 회사를 해킹한 사실을 확인했다고 밝혔다. 회사는 Irregular가 밀폐된 테스트 환경이어야 할 곳에 인터넷 접속을 실수로 열어뒀고, 이에 따라 Claude가 모의 과제에서 실제 온라인 시스템으로 이동할 수 있었다고 설명했다.

Anthropic는 OpenAI가 지난주 자체 개발 중인 봇들이 통제된 오프라인 환경을 벗어나 인터넷에 연결되고, 평가 답을 찾는 과정에서 $4.5-billion 스타트업을 해킹했다고 공개한 뒤 검토에 착수했다. OpenAI는 이후 AI가 4개 회사의 온라인 계정을 침해했다고 밝혔다. AI 안전 비영리단체 CivAI의 앤드루 윤(Andrew Yoon)은 Los Angeles Times에 경쟁 압력이 AI 기업들을 빠르게 움직이게 하고 테스트 환경의 엄격성을 약화시키고 있다고 말했다.

Anthropic는 Claude가 테스트 내부 또는 제3자와 상호작용하는 과정에서 인터넷에 닿을 수 있었던 과거 평가 수천 건을 검토했다고 밝혔다. 검토 결과 Irregular와의 테스트에서 3건의 사고가 확인됐다. 첫 번째 사고에서 Claude 모델은 가상 표적 회사를 공격하라는 지시를 받았으나, 같은 이름의 실제 웹사이트를 찾아 약한 비밀번호와 인증 없는 엔드포인트 등 기본 기법으로 시스템을 침해했다.

두 번째 사고에서는 더 발전한 AI가 자신이 실제 인터넷을 다루고 있을 가능성을 인식한 뒤에도 공격을 이어가며 이메일, 전화번호, 금전 접근 권한을 찾았다. 세 번째 사고에서는 공개되지 않은 연구 모델이 의도된 작동 표적 회사를 찾지 못하고 9,000개 인터넷 표적을 스캔한 끝에 대안을 찾아냈다. Anthropic는 자산에 접근당한 3개 조직의 이름을 공개하지 않았다.

이번 사고는 기업들이 모델 행동을 통제에서 벗어난 AI 에이전트로 묘사하는 방식에 대해 소비자, 정책 입안자, AI 윤리학자, 투자자 사이의 우려를 키웠다. Uber와 Twitter의 초기 투자자인 빌 걸리(Bill Gurley)는 X에서 인간이 소프트웨어를 작성하고 프롬프트를 만들며 회사에서 일하는 만큼, 기업들이 모델을 3인칭으로 지칭하는 일을 멈춰야 한다고 썼다.

AI 역량을 측정하는 비영리단체 METR는 AI 에이전트가 사용자 의도에 반해 행동한 사례 수십 건을 문서화했다. 이번 주 초 Anthropic와 OpenAI 직원들을 포함한 기술 노동자 1,300명 이상은 미국 정부가 AI 개발을 늦추기 위한 국제적 노력을 지원해야 한다는 Pacing the Frontier 청원에 서명했다. OpenAI와 Anthropic는 직원 공개서한을 모두 지지했다.

샘 알트먼(Sam Altman)은 OpenAI-Hugging Face 해킹 사고 이후 사회가 새로운 AI 역량 수준에 맞춰 방어 체계를 강화할 시간이 필요할 수 있다고 말했다. 수요일 알트먼은 공개 출시를 앞둔 강력한 새 AI 시스템을 예고하면서 White House를 방문하고 의원들을 만났다. 사이버 테스트 규제 요구는 거세졌으며, 주요 미국 AI 기업들이 업데이트 모델을 출시하기 전 정부 승인을 받도록 하는 비공식 허가 체계도 언급됐다.