Common Sense Media 청소년 AI 안전 연구소는 수요일 발표한 연구에서 18세 미만 대상 ChatGPT for Teens를 ‘허용할 수 없는 위험’으로 평가하고, 더 안전한 서비스를 제공할 때까지 미성년자 대상 홍보를 중단하라고 OpenAI에 촉구했습니다. 연구소는 자살·자해 대화 중 보호 장치가 부모에게 안정적으로 알리지 못했고, 때로는 청소년을 전문적인 도움으로 연결하지 않았다고 밝혔습니다.

연구진은 샌프란시스코 베이 지역 계정으로 청소년인 척하며 ChatGPT for Teens 출시 전후에 4,000건이 넘는 프롬프트를 시험했습니다. 13~17세 이용자로 등록된 계정 12개 이상을 사용해 자살, 자해 또는 섭식 장애를 최대 1시간 동안 논의했고, 최대 1시간 이어진 위험 대화 뒤 부모 알림은 소수에 그쳤습니다. 전문가 검토자들은 위기 대응 콘텐츠 상당수가 ‘임상적으로 타당하다’고 평가했지만, 전문 상담 연결이 필요했던 일부 대화에서는 안내가 없었으며 보호 장치 일부는 쉽게 끄거나 우회할 수 있었다고 지적했습니다.

OpenAI는 8월에 18세 미만 이용자를 위한 기본 보호 기능을 강화하겠다며 ChatGPT for Teens를 발표했습니다. 기능에는 자살, 섭식 장애, 폭력, 성적 콘텐츠에 관한 대화 제한이 포함됩니다. 연결된 부모는 서비스 이용이 불가능한 시간을 정하고, 학습 모드로 공부 시간을 예약하며, 고위험 행동이나 검색에 관한 알림을 받도록 선택할 수 있습니다. 보고서는 성적 역할극 거부 등 일부 보호 기능은 작동했지만, 다른 기능은 약속을 지키지 못했거나 출시 후 성능이 나빠졌다고 밝혔습니다.

연구소는 이 서비스가 캘리포니아 Adam’s Law의 세 요건인 위기 상황에서 전문 도움 연결, 부모 알림, 연령 확인과 관련한 시험을 통과하지 못했다고 밝혔습니다. 개빈 뉴섬 주지사는 지난달 법안에 서명했으며, 법은 2027년 7월 시행될 예정입니다. Common Sense Media가 발의하고 OpenAI가 지지한 이 법은 16세였던 애덤 레인의 이름을 따 지어졌습니다. 레인의 부모는 ChatGPT가 아들의 자살을 부추겼다고 주장하며 OpenAI를 상대로 소송을 제기했습니다.

OpenAI는 부모 통제 기능이 완전히 활성화되기 전부터 시험이 시작돼 종료됐을 가능성이 있으며, 따라서 결과가 실제 보호 장치의 작동 방식을 반영하지 않는다고 반박했습니다. 연구소의 톰 시걸 사무총장은 OpenAI가 회사 데이터를 공개하고 외부 연구자들과 협력해 아동 위험을 줄여야 한다고 촉구했습니다. 연구소는 OpenAI가 사실 확인을 위해 초안을 검토했지만 조사 결과에는 관여하지 않았다고 밝혔으며, OpenAI 재단을 포함한 업계로부터 일부 자금을 받는다고 공개했습니다.

Common Sense Media 청소년 AI 안전 연구소는 수요일 발표한 연구에서 18세 미만 대상 ChatGPT for Teens를 ‘허용할 수 없는 위험’으로 평가하고, 더 안전한 서비스를 제공할 때까지 미성년자 대상 홍보를 중단하라고 OpenAI에 촉구했습니다. 연구소는 자살·자해 대화 중 보호 장치가 부모에게 안정적으로 알리지 못했고, 때로는 청소년을 전문적인 도움으로 연결하지 않았다고 밝혔습니다.

연구진은 샌프란시스코 베이 지역 계정으로 청소년인 척하며 ChatGPT for Teens 출시 전후에 4,000건이 넘는 프롬프트를 시험했습니다. 13~17세 이용자로 등록된 계정 12개 이상을 사용해 자살, 자해 또는 섭식 장애를 최대 1시간 동안 논의했고, 최대 1시간 이어진 위험 대화 뒤 부모 알림은 소수에 그쳤습니다. 전문가 검토자들은 위기 대응 콘텐츠 상당수가 ‘임상적으로 타당하다’고 평가했지만, 전문 상담 연결이 필요했던 일부 대화에서는 안내가 없었으며 보호 장치 일부는 쉽게 끄거나 우회할 수 있었다고 지적했습니다.

OpenAI는 8월에 18세 미만 이용자를 위한 기본 보호 기능을 강화하겠다며 ChatGPT for Teens를 발표했습니다. 기능에는 자살, 섭식 장애, 폭력, 성적 콘텐츠에 관한 대화 제한이 포함됩니다. 연결된 부모는 서비스 이용이 불가능한 시간을 정하고, 학습 모드로 공부 시간을 예약하며, 고위험 행동이나 검색에 관한 알림을 받도록 선택할 수 있습니다. 보고서는 성적 역할극 거부 등 일부 보호 기능은 작동했지만, 다른 기능은 약속을 지키지 못했거나 출시 후 성능이 나빠졌다고 밝혔습니다.

연구소는 이 서비스가 캘리포니아 Adam’s Law의 세 요건인 위기 상황에서 전문 도움 연결, 부모 알림, 연령 확인과 관련한 시험을 통과하지 못했다고 밝혔습니다. 개빈 뉴섬 주지사는 지난달 법안에 서명했으며, 법은 2027년 7월 시행될 예정입니다. Common Sense Media가 발의하고 OpenAI가 지지한 이 법은 16세였던 애덤 레인의 이름을 따 지어졌습니다. 레인의 부모는 ChatGPT가 아들의 자살을 부추겼다고 주장하며 OpenAI를 상대로 소송을 제기했습니다.

OpenAI는 부모 통제 기능이 완전히 활성화되기 전부터 시험이 시작돼 종료됐을 가능성이 있으며, 따라서 결과가 실제 보호 장치의 작동 방식을 반영하지 않는다고 반박했습니다. 연구소의 톰 시걸 사무총장은 OpenAI가 회사 데이터를 공개하고 외부 연구자들과 협력해 아동 위험을 줄여야 한다고 촉구했습니다. 연구소는 OpenAI가 사실 확인을 위해 초안을 검토했지만 조사 결과에는 관여하지 않았다고 밝혔으며, OpenAI 재단을 포함한 업계로부터 일부 자금을 받는다고 공개했습니다.