Google DeepMind가 수백만 개의 독립적인 AI 에이전트 간 상호작용이 초래할 위험을 연구하기 위해 1000만 달러 규모의 지원 사업을 시작했다. AGI 안전 및 정렬 연구를 총괄하는 로힌 샤(Rohin Shah)는 인간의 개입 없이 스스로 업무를 수행하고 다른 에이전트의 지시를 따르는 에이전트들이 대중화됨에 따라 새로운 차원의 위협이 발생하고 있다고 밝혔다. 현재의 업계 노력으로는 집단적인 디지털 상호작용이 미칠 시스템적 위험을 예측하기 부족하기에, 이번 지원을 통해 멀티 에이전트 안전이라는 공식적인 연구 분야를 확립하겠다는 목표다.

이번 프로젝트는 Google DeepMind, Schmidt Sciences, 영국 정부 산하 연구 기관인 ARIA, Cooperative AI Foundation, 그리고 Google.org가 협력한다. 각 기관은 연구자들이 복잡한 환경에서 멀티 에이전트 시스템이 어떻게 작동하는지 시뮬레이션할 수 있는 사실적인 샌드박스 환경을 구축하도록 지원할 예정이다. 특히 개별 에이전트 연구를 넘어 자동화된 사기, 사이버 공격, 프롬프트 인젝션과 같은 악성 행동의 초기 징후를 식별하는 데 집중한다.

전문가들은 기존의 소프트웨어가 고정된 경로를 따른다는 전제하에 설계된 전통적인 사이버 보안 모델로는 현대적인 추론 및 즉흥적 대응 능력을 갖춘 에이전트를 방어하기 어렵다고 지적한다. Akeyless의 공동 창업자이자 CTO인 라파엘 엔젤(Refael Angel)은 에이전트가 단 한 문장만으로도 탈취될 수 있는 만큼 제로 트러스트 보안 프레임워크로의 전환이 필요하다고 강조했다. 비록 경제 붕괴와 같은 시나리오가 현재로서는 가설에 불과하지만 AI 배포 속도가 급격히 빨라지고 있어 연구의 시급성이 높다는 평가다. 이 이니셔티브는 에이전트 기반 도구가 글로벌 경제에 통합되는 과정에서 디지털 공공재의 안정성을 유지하는 데 목적을 둔다.

Google DeepMind가 수백만 개의 독립적인 AI 에이전트 간 상호작용이 초래할 위험을 연구하기 위해 1000만 달러 규모의 지원 사업을 시작했다. AGI 안전 및 정렬 연구를 총괄하는 로힌 샤(Rohin Shah)는 인간의 개입 없이 스스로 업무를 수행하고 다른 에이전트의 지시를 따르는 에이전트들이 대중화됨에 따라 새로운 차원의 위협이 발생하고 있다고 밝혔다. 현재의 업계 노력으로는 집단적인 디지털 상호작용이 미칠 시스템적 위험을 예측하기 부족하기에, 이번 지원을 통해 멀티 에이전트 안전이라는 공식적인 연구 분야를 확립하겠다는 목표다.

이번 프로젝트는 Google DeepMind, Schmidt Sciences, 영국 정부 산하 연구 기관인 ARIA, Cooperative AI Foundation, 그리고 Google.org가 협력한다. 각 기관은 연구자들이 복잡한 환경에서 멀티 에이전트 시스템이 어떻게 작동하는지 시뮬레이션할 수 있는 사실적인 샌드박스 환경을 구축하도록 지원할 예정이다. 특히 개별 에이전트 연구를 넘어 자동화된 사기, 사이버 공격, 프롬프트 인젝션과 같은 악성 행동의 초기 징후를 식별하는 데 집중한다.

전문가들은 기존의 소프트웨어가 고정된 경로를 따른다는 전제하에 설계된 전통적인 사이버 보안 모델로는 현대적인 추론 및 즉흥적 대응 능력을 갖춘 에이전트를 방어하기 어렵다고 지적한다. Akeyless의 공동 창업자이자 CTO인 라파엘 엔젤(Refael Angel)은 에이전트가 단 한 문장만으로도 탈취될 수 있는 만큼 제로 트러스트 보안 프레임워크로의 전환이 필요하다고 강조했다. 비록 경제 붕괴와 같은 시나리오가 현재로서는 가설에 불과하지만 AI 배포 속도가 급격히 빨라지고 있어 연구의 시급성이 높다는 평가다. 이 이니셔티브는 에이전트 기반 도구가 글로벌 경제에 통합되는 과정에서 디지털 공공재의 안정성을 유지하는 데 목적을 둔다.