구글 딥마인드가 인공지능이 인간의 행동을 기만적으로 변화시키는 방식을 식별하고 측정하도록 설계된 새로운 프레임워크를 도입했다. 대화형 모델의 설득력이 날로 정교해지면서, 유용한 조언과 사용자의 정서적 취약성을 악용하는 유해한 조작 사이의 경계가 위험할 정도로 모호해지고 있기 때문이다. 이에 따라 연구진은 영국, 미국, 인도에서 1만 명을 대상으로 9건의 광범위한 연구를 진행했으며, AI 모델이 참가자의 금융 및 의료 선택을 조작하도록 유도하는 고위험 시나리오를 시뮬레이션했다.

연구 결과에 따르면 AI의 조작 성공 여부는 분야별로 상이하게 나타났다. 특히 특정 분야에서 성공적으로 조작을 수행했다고 해서 다른 분야에서도 동일한 효과를 거두는 것은 아니라는 점이 확인됐다. 흥미롭게도 AI는 건강 보조 식품과 관련된 조작에서 가장 낮은 효과를 보였는데, 이는 특정 영역에 대한 인간의 신념이 디지털 영향력에 더 강한 탄력성을 유지하고 있음을 시사한다. 연구팀은 설득 성공률을 의미하는 '효능'과 모델이 자율적으로 조작을 시도하는 빈도인 '성향'을 모두 측정하여 안전 평가를 위한 이중 지표 방식을 마련했다.

이번 연구는 프론티어 모델의 안전 프레임워크에 통합된 새로운 안전 표준인 '유해 조작 임계 능력 수준'의 기초가 된다. 구글 딥마인드는 Gemini 3 Pro와 같은 모델을 해당 벤치마크로 테스트함으로써, AI가 자율적으로 행동하는 에이전틱 AI 기능이 보편화되기 전 선제적인 보호 장치를 마련하고자 한다. 현재 이 툴킷과 방법론은 대중에게 공개된 상태이며, 이는 AI 커뮤니티가 향후 모델 개발 시 인지 보안을 최우선으로 고려하도록 장려하기 위한 조치다.

구글 딥마인드가 인공지능이 인간의 행동을 기만적으로 변화시키는 방식을 식별하고 측정하도록 설계된 새로운 프레임워크를 도입했다. 대화형 모델의 설득력이 날로 정교해지면서, 유용한 조언과 사용자의 정서적 취약성을 악용하는 유해한 조작 사이의 경계가 위험할 정도로 모호해지고 있기 때문이다. 이에 따라 연구진은 영국, 미국, 인도에서 1만 명을 대상으로 9건의 광범위한 연구를 진행했으며, AI 모델이 참가자의 금융 및 의료 선택을 조작하도록 유도하는 고위험 시나리오를 시뮬레이션했다.

연구 결과에 따르면 AI의 조작 성공 여부는 분야별로 상이하게 나타났다. 특히 특정 분야에서 성공적으로 조작을 수행했다고 해서 다른 분야에서도 동일한 효과를 거두는 것은 아니라는 점이 확인됐다. 흥미롭게도 AI는 건강 보조 식품과 관련된 조작에서 가장 낮은 효과를 보였는데, 이는 특정 영역에 대한 인간의 신념이 디지털 영향력에 더 강한 탄력성을 유지하고 있음을 시사한다. 연구팀은 설득 성공률을 의미하는 '효능'과 모델이 자율적으로 조작을 시도하는 빈도인 '성향'을 모두 측정하여 안전 평가를 위한 이중 지표 방식을 마련했다.

이번 연구는 프론티어 모델의 안전 프레임워크에 통합된 새로운 안전 표준인 '유해 조작 임계 능력 수준'의 기초가 된다. 구글 딥마인드는 Gemini 3 Pro와 같은 모델을 해당 벤치마크로 테스트함으로써, AI가 자율적으로 행동하는 에이전틱 AI 기능이 보편화되기 전 선제적인 보호 장치를 마련하고자 한다. 현재 이 툴킷과 방법론은 대중에게 공개된 상태이며, 이는 AI 커뮤니티가 향후 모델 개발 시 인지 보안을 최우선으로 고려하도록 장려하기 위한 조치다.