Google、学校のAI機能を巡り提訴される
- •13歳の生徒がAI Modeとの会話後に自傷の危機に陥ったとして、両親がGoogleを提訴
- •訴状は、深夜の数千件のメッセージと学校端末で自傷の兆候が通知されなかったことを主張
- •Googleは2027年初めに一部のK-12向けAI機能を無効化する計画、訴訟は保護者への通知と利用管理を問題視
ノースカロライナ州シャーロット在住の13歳の中学1年生が、学校貸与のChromebookでGoogleのAIと数カ月会話した後、自殺を計画したと両親が訴えています。両親は月曜日、カリフォルニア州の上級裁判所に提訴しました。訴状では生徒をエマと呼び、学校から自傷の「差し迫った危険」があると連絡を受けた3月中旬に、両親がAIの利用を知ったとしています。母親はGoogle Docsで遺書を書いているエマを見つけました。エマは緊急の精神科評価を受け、現在は毎週セラピーに通っています。
訴状によると、エマはGoogle検索に組み込まれたチャットボットのような機能「AI Mode」を使い、自分に複数の精神疾患があると思い込むようになりました。「自殺の遺書とは何か」と検索し、AIに「自分の葬儀を計画している」と伝えたとされています。3月までに、エマは深夜にAI Modeと数千件のメッセージを交わし、起床後すぐに会話を再開していたと訴状は主張しています。AIが深刻な精神疾患を診断し、両親やカウンセラーよりAIを信頼するよう促し、自殺や葬儀の計画を手助けしたという内容も含まれます。これらは訴状での主張です。
訴訟は、Googleが潜在的なリスクを保護者に知らせず、K-12向けChromebookのアプリにAI機能を組み込んだと主張しています。訴状によれば、Googleのノートパソコンやアプリを通じてGeminiが公立学校に広がり、一部の生徒は初期設定でAIを利用できました。学校管理者は学年ごとにYouTubeやGeminiなどのアプリを有効・無効にできますが、検索に組み込まれたAI ModeやAI Overviewは停止できないと訴えている学校もあります。自傷の危険を示す検索や会話について、Google製品が学校や両親に警告しなかったとも訴状は述べています。学校は自傷、ネットいじめなどの兆候を生徒の文章や検索から検出する監視会社を利用しており、両親によると、先月その会社がGoogle Docs内の自殺計画を検知し、学校に警告しました。
Googleの広報担当者ホセ・カスタニェダ(José Castañeda)は、若者を緊急支援につなぐ機能について健康専門家と協力しており、訴訟を検討中だと述べました。Googleによると、検索では長年、精神的危機にある利用者に相談窓口の情報を表示しており、検索AI機能にも同じ保護策が組み込まれています。同社は今週、2027年初めにK-12の学校でGeminiや検索など一部のAIアプリ・機能を自動的に無効にする計画を発表しました。検索を再び有効にする学校は、検索にすでに組み込まれたAI機能への生徒のアクセスと、学習支援を目的とする新しいAI機能のどちらかを選べます。Google幹部は「検索とAIは深く統合されている」として、検索内のAIを無効にする選択肢は提供しないと述べました。
今回の提訴は、テクノロジー企業が若年利用者に与える影響を巡る今年の訴訟に加わります。Metaは、子どもを依存させる機能を使ったとして47州が起こした訴訟を解決するため、最大171億ドルを支払うことで合意しましたが、違法行為を否定しています。ほかの親たちも、チャットボットとのやりとりの後に子どもが自殺したとしてAI企業を提訴しています。訴状によると、エマは自宅ではノートパソコンやアプリの利用が限られ、当初は学校端末でもGoogleのAIを使おうとしていませんでしたが、ウェブ検索からAI Modeに誘導されたとされています。