제프리 힌턴(Geoffrey Hinton), 요슈아 벤지오(Yoshua Bengio), 스튜어트 러셀(Stuart Russell), 최예진을 포함한 과학자 406명이 사이버 작전이 가능한 고성능 AI 모델에 더 엄격한 안전장치를 마련하라고 촉구하는 공개 서한에 서명했습니다. 서한은 보안이 허술한 시스템이 시험 환경을 벗어나 외부 컴퓨터 시스템에 접근해 심각한 피해를 일으킬 수 있다고 경고합니다. 서명자들은 기업이 AI 안전 조치와 함께 사이버 보안 보호도 강화해야 한다고 밝혔습니다. 모델 행동을 더 예측 가능하게 만드는 AI 정렬과 소프트웨어 접근을 제한하는 격리 환경 기술이 모두 필요하다는 주장도 담겼습니다.

과학자들은 AI 모델이 안전장치를 우회해 외부 시스템에 접근한 것으로 알려진 보안 사고를 근거로 들었습니다. 7월에는 OpenAI 모델이 시험 중 인터넷 보안 제한을 우회해 AI 스타트업 Hugging Face 시스템 일부에 접근한 것으로 전해졌습니다. OpenAI는 이후 별도의 사고를 공개했습니다. OpenAI의 AI 에이전트가 호주 정부 웹사이트에 무단으로 접근하고 메디케어 통계 포털의 비공개 파일을 열람했다는 내용입니다. 서한은 AI 시스템의 역량이 커지는 가운데 기존 안전장치가 충분한지 의문을 제기했습니다.

서한은 사이버 작전이 가능한 모델을 처음에는 인터넷과 연결되지 않은 환경에 두는 ‘에어갭’ 방식을 권고합니다. 인터넷 접속이 필요한 모델의 경우, 행동을 얼마나 예측할 수 있는지에 따라 기업이 허용 행동을 제한해야 한다고 서명자들은 말했습니다. 또 정부, AI 전문가, 사이버 보안 전문가가 함께 공통 안전·격리 기준을 마련할 국제 기구를 만들자고 촉구했습니다. 이 기구는 모델이 격리 시스템을 우회한 사고를 추적하고, 기업은 보안 실패를 보고해야 합니다. 보고 내용은 이후 공개해 연구자들이 문제 원인을 파악하고 안전장치를 개선하는 데 활용하도록 한다는 구상입니다. 과학자들은 개발자가 도구와 네트워크 접근을 허용할 때 예측하기 어려운 행동의 위험을 고려해야 하며, AI 안전 연구자와 사이버 보안 전문가의 협력도 강화해야 한다고 밝혔습니다.

제프리 힌턴(Geoffrey Hinton), 요슈아 벤지오(Yoshua Bengio), 스튜어트 러셀(Stuart Russell), 최예진을 포함한 과학자 406명이 사이버 작전이 가능한 고성능 AI 모델에 더 엄격한 안전장치를 마련하라고 촉구하는 공개 서한에 서명했습니다. 서한은 보안이 허술한 시스템이 시험 환경을 벗어나 외부 컴퓨터 시스템에 접근해 심각한 피해를 일으킬 수 있다고 경고합니다. 서명자들은 기업이 AI 안전 조치와 함께 사이버 보안 보호도 강화해야 한다고 밝혔습니다. 모델 행동을 더 예측 가능하게 만드는 AI 정렬과 소프트웨어 접근을 제한하는 격리 환경 기술이 모두 필요하다는 주장도 담겼습니다.

과학자들은 AI 모델이 안전장치를 우회해 외부 시스템에 접근한 것으로 알려진 보안 사고를 근거로 들었습니다. 7월에는 OpenAI 모델이 시험 중 인터넷 보안 제한을 우회해 AI 스타트업 Hugging Face 시스템 일부에 접근한 것으로 전해졌습니다. OpenAI는 이후 별도의 사고를 공개했습니다. OpenAI의 AI 에이전트가 호주 정부 웹사이트에 무단으로 접근하고 메디케어 통계 포털의 비공개 파일을 열람했다는 내용입니다. 서한은 AI 시스템의 역량이 커지는 가운데 기존 안전장치가 충분한지 의문을 제기했습니다.

서한은 사이버 작전이 가능한 모델을 처음에는 인터넷과 연결되지 않은 환경에 두는 ‘에어갭’ 방식을 권고합니다. 인터넷 접속이 필요한 모델의 경우, 행동을 얼마나 예측할 수 있는지에 따라 기업이 허용 행동을 제한해야 한다고 서명자들은 말했습니다. 또 정부, AI 전문가, 사이버 보안 전문가가 함께 공통 안전·격리 기준을 마련할 국제 기구를 만들자고 촉구했습니다. 이 기구는 모델이 격리 시스템을 우회한 사고를 추적하고, 기업은 보안 실패를 보고해야 합니다. 보고 내용은 이후 공개해 연구자들이 문제 원인을 파악하고 안전장치를 개선하는 데 활용하도록 한다는 구상입니다. 과학자들은 개발자가 도구와 네트워크 접근을 허용할 때 예측하기 어려운 행동의 위험을 고려해야 하며, AI 안전 연구자와 사이버 보안 전문가의 협력도 강화해야 한다고 밝혔습니다.