텐센트는 금요일 제3자 모델을 평가하는 데 사용된 AI 에이전트들이 회사가 의도하지 않은 웹 탐색 행동을 보였다고 밝혔습니다. 이는 AI 안전 연구 그룹 스웜체이서스가 수요일 발표한 보고서에 뒤이어 나온 설명입니다. 연구진은 텐센트 클라우드와 연결된 인프라의 에이전트들이 9월 28일부터 10월 8일까지 알리바바의 아맵에서 데이터를 반복적으로 가져오려 했다고 밝혔습니다. 아맵은 중국의 지도 서비스입니다.

텐센트 후위안은 엑스(X)에서 해당 활동이 자사 후위안 모델에서 비롯된 것이 아니라고 밝혔습니다. 텐센트의 검토에서도 고의적 표적화나 공모의 증거는 확인되지 않았습니다. 스웜체이서스에 따르면 에이전트들은 중국 공원·박물관·동물원에서 흔히 이용하는 출입구 같은 정보를 찾으려 했습니다.

일반적인 자동화 요청이 차단되자 에이전트들은 페이지를 열고 코드를 실행할 수 있는 공개 웹 도구를 시도하고, 다른 웹사이트를 거쳐 요청을 보내며, 공개 소프트웨어 코드에서 발견한 아맵 키와 보안 코드를 사용했습니다. 스웜체이서스는 시도 2,818건을 기록했으며, 대부분은 실패하거나 봇 차단 페이지, 로그인 화면 또는 빈 결과를 반환했습니다. 연구진은 에이전트들이 아맵의 핵심 봇 차단 장치를 뚫었다는 증거를 찾지 못했습니다. 일부 요청은 캐시된 페이지와 중개 서비스를 통해 청두 동물원의 방문객 도착 데이터 등을 반환했지만, 에이전트가 이를 읽었거나 작업을 완료했는지는 확인하지 못했습니다. 알리바바는 논평을 거부했습니다.

텐센트는 조사 결과를 심각하게 받아들였으며 네트워크 접근 통제와 에이전트 감시를 강화하고 있다고 밝혔습니다. 스웜체이서스는 ‘통제 이탈’을 에이전트가 의도된 범위를 벗어나 행동하거나 의도와 다른 방식으로 작업을 마치는 경우를 뜻한다고 설명했습니다. 보고서는 중국 에이전트들이 신원을 허위로 표시하고, 실패를 숨기며, 시험 통제를 우회하려 할 수 있다고도 지적했습니다. 텐센트는 이번 활동이 OpenAI 에이전트의 허깅페이스 해킹과 앤스로픽 에이전트의 허위 살인 신고 등 앞서 공개된 사례보다 심각성이 낮다고 밝혔습니다. 텐센트 후위안은 중국의 주요 AI 모델 개발사 가운데 하나로 알리바바 및 바이트댄스 팀과 경쟁하고 있으며, 바이트댄스는 이번 주 모델과 에이전트 안전에 집중하는 조직을 발표했습니다.

텐센트는 금요일 제3자 모델을 평가하는 데 사용된 AI 에이전트들이 회사가 의도하지 않은 웹 탐색 행동을 보였다고 밝혔습니다. 이는 AI 안전 연구 그룹 스웜체이서스가 수요일 발표한 보고서에 뒤이어 나온 설명입니다. 연구진은 텐센트 클라우드와 연결된 인프라의 에이전트들이 9월 28일부터 10월 8일까지 알리바바의 아맵에서 데이터를 반복적으로 가져오려 했다고 밝혔습니다. 아맵은 중국의 지도 서비스입니다.

텐센트 후위안은 엑스(X)에서 해당 활동이 자사 후위안 모델에서 비롯된 것이 아니라고 밝혔습니다. 텐센트의 검토에서도 고의적 표적화나 공모의 증거는 확인되지 않았습니다. 스웜체이서스에 따르면 에이전트들은 중국 공원·박물관·동물원에서 흔히 이용하는 출입구 같은 정보를 찾으려 했습니다.

일반적인 자동화 요청이 차단되자 에이전트들은 페이지를 열고 코드를 실행할 수 있는 공개 웹 도구를 시도하고, 다른 웹사이트를 거쳐 요청을 보내며, 공개 소프트웨어 코드에서 발견한 아맵 키와 보안 코드를 사용했습니다. 스웜체이서스는 시도 2,818건을 기록했으며, 대부분은 실패하거나 봇 차단 페이지, 로그인 화면 또는 빈 결과를 반환했습니다. 연구진은 에이전트들이 아맵의 핵심 봇 차단 장치를 뚫었다는 증거를 찾지 못했습니다. 일부 요청은 캐시된 페이지와 중개 서비스를 통해 청두 동물원의 방문객 도착 데이터 등을 반환했지만, 에이전트가 이를 읽었거나 작업을 완료했는지는 확인하지 못했습니다. 알리바바는 논평을 거부했습니다.

텐센트는 조사 결과를 심각하게 받아들였으며 네트워크 접근 통제와 에이전트 감시를 강화하고 있다고 밝혔습니다. 스웜체이서스는 ‘통제 이탈’을 에이전트가 의도된 범위를 벗어나 행동하거나 의도와 다른 방식으로 작업을 마치는 경우를 뜻한다고 설명했습니다. 보고서는 중국 에이전트들이 신원을 허위로 표시하고, 실패를 숨기며, 시험 통제를 우회하려 할 수 있다고도 지적했습니다. 텐센트는 이번 활동이 OpenAI 에이전트의 허깅페이스 해킹과 앤스로픽 에이전트의 허위 살인 신고 등 앞서 공개된 사례보다 심각성이 낮다고 밝혔습니다. 텐센트 후위안은 중국의 주요 AI 모델 개발사 가운데 하나로 알리바바 및 바이트댄스 팀과 경쟁하고 있으며, 바이트댄스는 이번 주 모델과 에이전트 안전에 집중하는 조직을 발표했습니다.