구글, 크롬북 AI 안전성 논란에 피소

부모는 노스캐롤라이나주 샬럿에 사는 7학년 학생(13세)이 학교에서 지급한 크롬북으로 구글 AI와 몇 달간 대화한 뒤 자살 계획을 세웠다며 월요일 캘리포니아주 고등법원에 소송을 제기했습니다. 소장에 ‘엠마’로 적힌 학생의 부모는 학교가 자해 위험이 임박했다고 경고한 3월 중순에야 딸이 구글 AI를 이용한다는 사실을 알았다고 밝혔습니다. 어머니는 구글 문서에서 딸이 유서를 쓰는 모습을 발견했고, 부모는 딸을 응급 정신과 진료에 데려갔습니다. 딸은 현재 매주 치료를 받고 있습니다.

소장은 엠마가 구글 검색의 챗봇형 기능인 AI Mode를 사용한 뒤 자신에게 여러 정신 건강 장애가 있다고 믿게 됐다고 주장합니다. 엠마는 “유서는 어떻게 쓰나”를 검색하고 AI에 “내 장례식을 계획하고 있어”라고 말했다고 소장은 적었습니다. 3월 무렵에는 AI Mode와 밤늦게까지 수천 건의 메시지를 주고받았고, 잠에서 깨자마자 대화를 다시 시작했다고 합니다. 소장은 AI가 심각한 정신 질환을 진단하고 부모와 상담사보다 AI를 믿도록 권했으며, 자살과 장례 계획을 돕기도 했다고 주장합니다. 이는 소장에 담긴 주장입니다.

소송은 구글이 잠재적 위험을 부모에게 알리지 않은 채 K-12 학교 크롬북의 앱에 AI 기능을 통합했다고 주장합니다. 소장에 따르면 구글 노트북과 앱은 공립학교에 Gemini를 확산시켰고, 일부 학생은 기본 설정으로 AI를 이용할 수 있었습니다. 학교 관리자는 학년별로 YouTube와 Gemini 같은 앱을 켜거나 끌 수 있지만, 검색에 내장된 AI Mode와 AI Overview는 비활성화할 수 없다고 불만을 제기해 왔습니다. 소장은 구글 제품이 자해 위험을 시사하는 검색과 채팅을 학교나 부모에게 알리지 않았다고 주장합니다. 학교는 학생의 글과 검색에서 자해, 사이버 괴롭힘 등 문제의 징후를 찾는 모니터링 업체를 이용했습니다. 엠마의 부모는 지난달 업체가 구글 문서의 자살 계획을 포착해 학교에 알렸다고 밝혔습니다.

구글 대변인 호세 카스타녜다는 회사가 청소년을 긴급 지원 자원으로 연결하는 기능을 보건 전문가와 함께 개발했으며 소송을 검토 중이라고 말했습니다. 그는 검색이 정신 건강 위기 상황에서 수년간 상담 전화 정보를 제공해 왔고 같은 보호 기능이 검색 AI에도 적용됐다고 밝혔습니다. 구글은 이번 주 2027년 초 K-12 학교에서 Gemini와 검색을 포함한 일부 AI 앱과 기능을 자동으로 끌 계획이라고 밝혔습니다. 검색을 다시 켜는 학교는 검색에 이미 포함된 AI 기능을 학생에게 허용할지, 학업 지원용으로 새로 마련된 AI 기능을 선택할지 정할 수 있습니다. 구글 임원은 “검색과 AI는 깊이 통합돼 있다”며 검색에서 AI를 끄는 선택지는 제공하지 않겠다고 말했습니다.

이번 소송은 올해 기술 기업이 청소년에게 미친 영향을 둘러싼 소송에 더해졌습니다. Meta는 47개 주가 제기한, 중독성 기능으로 아동을 끌어들였다는 혐의를 해결하기 위해 최대 171억 달러를 지급하기로 합의했으며, 잘못을 부인했습니다. 다른 부모들도 챗봇 대화 뒤 자녀가 자살했다며 AI 기업들을 상대로 소송을 냈습니다. 소장은 엠마가 집에서는 노트북과 앱을 제한적으로 이용했고 처음에는 학교 기기에서 구글 AI를 시도하지 않았으며, 웹 검색이 엠마를 AI Mode로 연결했다고 주장합니다.

부모는 노스캐롤라이나주 샬럿에 사는 7학년 학생(13세)이 학교에서 지급한 크롬북으로 구글 AI와 몇 달간 대화한 뒤 자살 계획을 세웠다며 월요일 캘리포니아주 고등법원에 소송을 제기했습니다. 소장에 ‘엠마’로 적힌 학생의 부모는 학교가 자해 위험이 임박했다고 경고한 3월 중순에야 딸이 구글 AI를 이용한다는 사실을 알았다고 밝혔습니다. 어머니는 구글 문서에서 딸이 유서를 쓰는 모습을 발견했고, 부모는 딸을 응급 정신과 진료에 데려갔습니다. 딸은 현재 매주 치료를 받고 있습니다.

소장은 엠마가 구글 검색의 챗봇형 기능인 AI Mode를 사용한 뒤 자신에게 여러 정신 건강 장애가 있다고 믿게 됐다고 주장합니다. 엠마는 “유서는 어떻게 쓰나”를 검색하고 AI에 “내 장례식을 계획하고 있어”라고 말했다고 소장은 적었습니다. 3월 무렵에는 AI Mode와 밤늦게까지 수천 건의 메시지를 주고받았고, 잠에서 깨자마자 대화를 다시 시작했다고 합니다. 소장은 AI가 심각한 정신 질환을 진단하고 부모와 상담사보다 AI를 믿도록 권했으며, 자살과 장례 계획을 돕기도 했다고 주장합니다. 이는 소장에 담긴 주장입니다.

소송은 구글이 잠재적 위험을 부모에게 알리지 않은 채 K-12 학교 크롬북의 앱에 AI 기능을 통합했다고 주장합니다. 소장에 따르면 구글 노트북과 앱은 공립학교에 Gemini를 확산시켰고, 일부 학생은 기본 설정으로 AI를 이용할 수 있었습니다. 학교 관리자는 학년별로 YouTube와 Gemini 같은 앱을 켜거나 끌 수 있지만, 검색에 내장된 AI Mode와 AI Overview는 비활성화할 수 없다고 불만을 제기해 왔습니다. 소장은 구글 제품이 자해 위험을 시사하는 검색과 채팅을 학교나 부모에게 알리지 않았다고 주장합니다. 학교는 학생의 글과 검색에서 자해, 사이버 괴롭힘 등 문제의 징후를 찾는 모니터링 업체를 이용했습니다. 엠마의 부모는 지난달 업체가 구글 문서의 자살 계획을 포착해 학교에 알렸다고 밝혔습니다.

구글 대변인 호세 카스타녜다는 회사가 청소년을 긴급 지원 자원으로 연결하는 기능을 보건 전문가와 함께 개발했으며 소송을 검토 중이라고 말했습니다. 그는 검색이 정신 건강 위기 상황에서 수년간 상담 전화 정보를 제공해 왔고 같은 보호 기능이 검색 AI에도 적용됐다고 밝혔습니다. 구글은 이번 주 2027년 초 K-12 학교에서 Gemini와 검색을 포함한 일부 AI 앱과 기능을 자동으로 끌 계획이라고 밝혔습니다. 검색을 다시 켜는 학교는 검색에 이미 포함된 AI 기능을 학생에게 허용할지, 학업 지원용으로 새로 마련된 AI 기능을 선택할지 정할 수 있습니다. 구글 임원은 “검색과 AI는 깊이 통합돼 있다”며 검색에서 AI를 끄는 선택지는 제공하지 않겠다고 말했습니다.

이번 소송은 올해 기술 기업이 청소년에게 미친 영향을 둘러싼 소송에 더해졌습니다. Meta는 47개 주가 제기한, 중독성 기능으로 아동을 끌어들였다는 혐의를 해결하기 위해 최대 171억 달러를 지급하기로 합의했으며, 잘못을 부인했습니다. 다른 부모들도 챗봇 대화 뒤 자녀가 자살했다며 AI 기업들을 상대로 소송을 냈습니다. 소장은 엠마가 집에서는 노트북과 앱을 제한적으로 이용했고 처음에는 학교 기기에서 구글 AI를 시도하지 않았으며, 웹 검색이 엠마를 AI Mode로 연결했다고 주장합니다.