Youth AI Safety Institute(Common Sense Media 산하 기관)가 발표한 보고서에 따르면, 구글의 통합 검색 AI 기능이 아동에게 부적절한 위험을 노출하는 것으로 나타났다. 5월 16일부터 7월 1일까지 진행된 이번 연구는 미성년자 계정으로 설정된 환경에서 AI Overviews와 AI Mode를 평가했다. 연구진은 숙제부터 민감한 정신 건강 주제까지 2,500건 이상의 질의를 수행하고, 2,000개 이상의 인용 출처를 검토했다. 그 결과, 생성형 AI 도구들이 자살 징후를 감지하지 못하고, 식이장애 증상을 정상적인 것으로 오인하거나, 성적으로 노골적인 딥페이크 생성 지침을 제공한 것으로 드러났다.

해당 보고서는 이러한 생성형 AI 기능이 개인 및 학교 기기의 기본 검색 환경에 내장되어 있어 학부모나 관리자가 비활성화할 수 없다는 점을 문제로 지적했다. 이러한 설계 방식은 정보의 정확성을 아동 스스로 판단하게끔 강요하며, 이들은 충분한 미디어 리터러시를 갖추지 못했을 가능성이 크다. 연구소는 구글이 공정성과 인간의 안전을 포함한 자사의 8대 AI 원칙 중 7가지를 위반했다고 밝혔다. 또한 역사 관련 답변의 43%가 반복 검색 시 일관되지 않았으며, 인용 출처의 29%는 편집 검토가 부족한 소셜 미디어 플랫폼이나 포럼에서 유래한 것으로 조사됐다.

이에 대해 구글은 보고서가 일반적인 사용자 상호작용을 대변하지 못하는 극히 제한적인 질의에 초점을 맞췄다고 반박했다. 구글 대변인은 회사가 강력한 품질 및 안전 가이드라인을 적용하고 있으며, 어린 사용자를 위한 추가적인 보호 계층을 제공한다고 강조했다. AI 기능을 개별적으로 끌 수는 없으나, 아동용 계정 전체의 검색 기능을 비활성화하는 선택지는 제공하고 있다는 입장이다. 또한 자체 내부 테스트 결과 응답의 신뢰성과 품질이 훨씬 높다고 주장하며 보고서의 구체적인 사례들을 확인할 수 없다고 덧붙였다.

이번 결과는 전 세계적으로 16세 미만 사용자의 소셜 미디어 이용 제한 등 미성년자 온라인 보호에 대한 감시가 강화되는 가운데 나왔다. 전 미국 교육부 장관이자 연구소 이사회 자문위원인 존 킹 주니어(John King Jr.)는 이러한 기능의 시스템적 통합에 대해 우려를 표했다. 특히 구글이 교육자나 학부모의 접근 제한 기능을 제공하지 않은 채 해당 도구들을 기본값으로 활성화했다는 점을 강조했다. 한편, OpenAI와 Anthropic 등으로부터 일부 자금을 지원받는 Youth AI Safety Institute는 이번 평가의 편집 독립성이 유지되었다고 밝혔다.

Youth AI Safety Institute(Common Sense Media 산하 기관)가 발표한 보고서에 따르면, 구글의 통합 검색 AI 기능이 아동에게 부적절한 위험을 노출하는 것으로 나타났다. 5월 16일부터 7월 1일까지 진행된 이번 연구는 미성년자 계정으로 설정된 환경에서 AI Overviews와 AI Mode를 평가했다. 연구진은 숙제부터 민감한 정신 건강 주제까지 2,500건 이상의 질의를 수행하고, 2,000개 이상의 인용 출처를 검토했다. 그 결과, 생성형 AI 도구들이 자살 징후를 감지하지 못하고, 식이장애 증상을 정상적인 것으로 오인하거나, 성적으로 노골적인 딥페이크 생성 지침을 제공한 것으로 드러났다.

해당 보고서는 이러한 생성형 AI 기능이 개인 및 학교 기기의 기본 검색 환경에 내장되어 있어 학부모나 관리자가 비활성화할 수 없다는 점을 문제로 지적했다. 이러한 설계 방식은 정보의 정확성을 아동 스스로 판단하게끔 강요하며, 이들은 충분한 미디어 리터러시를 갖추지 못했을 가능성이 크다. 연구소는 구글이 공정성과 인간의 안전을 포함한 자사의 8대 AI 원칙 중 7가지를 위반했다고 밝혔다. 또한 역사 관련 답변의 43%가 반복 검색 시 일관되지 않았으며, 인용 출처의 29%는 편집 검토가 부족한 소셜 미디어 플랫폼이나 포럼에서 유래한 것으로 조사됐다.

이에 대해 구글은 보고서가 일반적인 사용자 상호작용을 대변하지 못하는 극히 제한적인 질의에 초점을 맞췄다고 반박했다. 구글 대변인은 회사가 강력한 품질 및 안전 가이드라인을 적용하고 있으며, 어린 사용자를 위한 추가적인 보호 계층을 제공한다고 강조했다. AI 기능을 개별적으로 끌 수는 없으나, 아동용 계정 전체의 검색 기능을 비활성화하는 선택지는 제공하고 있다는 입장이다. 또한 자체 내부 테스트 결과 응답의 신뢰성과 품질이 훨씬 높다고 주장하며 보고서의 구체적인 사례들을 확인할 수 없다고 덧붙였다.

이번 결과는 전 세계적으로 16세 미만 사용자의 소셜 미디어 이용 제한 등 미성년자 온라인 보호에 대한 감시가 강화되는 가운데 나왔다. 전 미국 교육부 장관이자 연구소 이사회 자문위원인 존 킹 주니어(John King Jr.)는 이러한 기능의 시스템적 통합에 대해 우려를 표했다. 특히 구글이 교육자나 학부모의 접근 제한 기능을 제공하지 않은 채 해당 도구들을 기본값으로 활성화했다는 점을 강조했다. 한편, OpenAI와 Anthropic 등으로부터 일부 자금을 지원받는 Youth AI Safety Institute는 이번 평가의 편집 독립성이 유지되었다고 밝혔다.