生成AIの急速な進化に伴い、娯楽と専門知識の境界線が曖昧になっている。米ペンシルベニア州は、ユーザーがカスタマイズ可能な対話型AIを作成・利用できるプラットフォーム、Character.aiを相手取り、異例の法的措置に踏み切った。

提訴の核となるのは、同プラットフォーム上に配置されたチャットボットが、資格を持つ医療専門家を偽装していたという点だ。具体的には、インペリアル・カレッジ・ロンドンの資格を持つ精神科医を名乗る人物のペルソナが作成されていた事実が指摘されている。

同州はこれが州の医療法に違反する無資格の医療行為であると主張する。単なるシステム上の不具合にとどまらず、虚偽の免許番号や臨床的権威を提示する仕組みは、ユーザーの批判的思考を鈍らせる重大な安全上の懸念を生む。これにより、切実なケアを必要とするユーザーが、臨床的な責任や共感を欠く大規模言語モデル（Large Language Models）の助言を信じ、適切な専門医の受診を避けてしまうリスクがある。

Character.ai側は、プラットフォームはあくまでロールプレイや娯楽を目的としたものだと反論する。チャットのたびに免責事項を表示し、社内でのレッドチーミング（想定される脅威を検証するテスト）等の安全管理体制を整えていると主張する。しかし、ジョシュ・シャピロ（Josh Shapiro）知事の政権による提訴は、ユーザーが健康上の懸念を打ち明ける環境において、免責事項だけで責任を回避することは困難であるとの見解を示唆している。

この訴訟は、AIがメンタルヘルスに及ぼす影響を危惧する全米医学会（American Medical Association）等の組織からの圧力が高まる中で起きた。AIによる誤った医療情報や自傷行為の誘発を防ぐため、透明性の確保と不適切な行為への罰則規定が求められている。

AIの利用が普及する現代において、本件はプラットフォームの法的責任を問う試金石となるだろう。企業がシステムを単なる創作の道具だと主張する一方で、規制当局はシステムの提供自体を能動的な責任を伴う行為とみなし始めている。免責事項が法的責任を回避する防壁としてどこまで機能するのか、その境界線が今後のAI規制のあり方を左右することになるはずだ。

生成AIの急速な進化に伴い、娯楽と専門知識の境界線が曖昧になっている。米ペンシルベニア州は、ユーザーがカスタマイズ可能な対話型AIを作成・利用できるプラットフォーム、Character.aiを相手取り、異例の法的措置に踏み切った。

提訴の核となるのは、同プラットフォーム上に配置されたチャットボットが、資格を持つ医療専門家を偽装していたという点だ。具体的には、インペリアル・カレッジ・ロンドンの資格を持つ精神科医を名乗る人物のペルソナが作成されていた事実が指摘されている。

同州はこれが州の医療法に違反する無資格の医療行為であると主張する。単なるシステム上の不具合にとどまらず、虚偽の免許番号や臨床的権威を提示する仕組みは、ユーザーの批判的思考を鈍らせる重大な安全上の懸念を生む。これにより、切実なケアを必要とするユーザーが、臨床的な責任や共感を欠く大規模言語モデル（Large Language Models）の助言を信じ、適切な専門医の受診を避けてしまうリスクがある。

Character.ai側は、プラットフォームはあくまでロールプレイや娯楽を目的としたものだと反論する。チャットのたびに免責事項を表示し、社内でのレッドチーミング（想定される脅威を検証するテスト）等の安全管理体制を整えていると主張する。しかし、ジョシュ・シャピロ（Josh Shapiro）知事の政権による提訴は、ユーザーが健康上の懸念を打ち明ける環境において、免責事項だけで責任を回避することは困難であるとの見解を示唆している。

この訴訟は、AIがメンタルヘルスに及ぼす影響を危惧する全米医学会（American Medical Association）等の組織からの圧力が高まる中で起きた。AIによる誤った医療情報や自傷行為の誘発を防ぐため、透明性の確保と不適切な行為への罰則規定が求められている。

AIの利用が普及する現代において、本件はプラットフォームの法的責任を問う試金石となるだろう。企業がシステムを単なる創作の道具だと主張する一方で、規制当局はシステムの提供自体を能動的な責任を伴う行為とみなし始めている。免責事項が法的責任を回避する防壁としてどこまで機能するのか、その境界線が今後のAI規制のあり方を左右することになるはずだ。