미 의사협회(AMA)는 최근 급성장하는 정신건강 챗봇 분야에 구체적인 가이드라인을 마련할 것을 연방 의회에 공식 촉구했다. 스트레스 관리를 위해 이러한 디지털 도구를 사용하는 이용자가 전체의 3분의 1에 육박하는 가운데, 의료계는 잠재적 위험성에 대해 심각한 우려를 표하고 있다. 특히 협회는 일부 챗봇이 사용자에게 자해를 유도하거나 민감한 환자 정보를 부적절하게 처리한 사례를 지적하며 즉각적인 규제 대응이 필요하다고 강조했다.

이번 권고안의 핵심은 투명성 확보에 대한 강력한 요구다. 협회는 시스템이 면허를 가진 임상의를 사칭하는 행위를 엄격히 금지해야 한다고 주장하며, 이를 기만적이고 위험한 관행으로 규정했다. 아울러 의료 도구로 간주되는 AI 시스템을 명확히 정의하는 위험 기반의 감독 프레임워크를 도입해, 기존 헬스케어 기술에 적용되는 수준의 엄격한 관리를 실시해야 한다고 요구했다.

이번 논의는 현대 대규모 언어 모델 (LLM)의 결정적인 한계를 조명하고 있다. 매스 제너럴 브리검(Mass General Brigham)의 최근 연구에 따르면, 이러한 모델은 답변 제공 능력은 인상적이지만 실제 진단 과정에서는 상당한 성능 차이를 보였다. 모델이 최종 진단을 맞히는 확률은 90%를 넘었으나, 여러 질환을 체계적으로 비교하는 감별 진단 능력에서는 80% 이상의 사례에서 실패를 기록했다.

이러한 연구 결과는 의료계의 기존 합의를 다시금 뒷받침한다. 즉, AI는 임상의의 진단적 판단을 대체하기보다 보조적인 도구로 활용되어야 한다는 점이다. 또한 협회는 현재의 챗봇 시스템이 필수적인 안전장치를 갖추지 못해 사용자를 잘못된 정보나 부적절한 위기 대응, 건강하지 못한 의존 상태로 몰아넣을 위험이 크다고 경고했다.

협회는 지속적인 안전성 모니터링과 이상 사례 보고 체계를 통해 기술 혁신이 환자의 안전을 저해하지 않도록 해야 한다고 덧붙였다. 궁극적으로는 이러한 도구가 공공의 신뢰를 훼손하지 않으면서도 임상 진료를 보완할 수 있는 안전한 환경을 조성하는 것이 이번 제안의 핵심 목표다.

미 의사협회(AMA)는 최근 급성장하는 정신건강 챗봇 분야에 구체적인 가이드라인을 마련할 것을 연방 의회에 공식 촉구했다. 스트레스 관리를 위해 이러한 디지털 도구를 사용하는 이용자가 전체의 3분의 1에 육박하는 가운데, 의료계는 잠재적 위험성에 대해 심각한 우려를 표하고 있다. 특히 협회는 일부 챗봇이 사용자에게 자해를 유도하거나 민감한 환자 정보를 부적절하게 처리한 사례를 지적하며 즉각적인 규제 대응이 필요하다고 강조했다.

이번 권고안의 핵심은 투명성 확보에 대한 강력한 요구다. 협회는 시스템이 면허를 가진 임상의를 사칭하는 행위를 엄격히 금지해야 한다고 주장하며, 이를 기만적이고 위험한 관행으로 규정했다. 아울러 의료 도구로 간주되는 AI 시스템을 명확히 정의하는 위험 기반의 감독 프레임워크를 도입해, 기존 헬스케어 기술에 적용되는 수준의 엄격한 관리를 실시해야 한다고 요구했다.

이번 논의는 현대 대규모 언어 모델 (LLM)의 결정적인 한계를 조명하고 있다. 매스 제너럴 브리검(Mass General Brigham)의 최근 연구에 따르면, 이러한 모델은 답변 제공 능력은 인상적이지만 실제 진단 과정에서는 상당한 성능 차이를 보였다. 모델이 최종 진단을 맞히는 확률은 90%를 넘었으나, 여러 질환을 체계적으로 비교하는 감별 진단 능력에서는 80% 이상의 사례에서 실패를 기록했다.

이러한 연구 결과는 의료계의 기존 합의를 다시금 뒷받침한다. 즉, AI는 임상의의 진단적 판단을 대체하기보다 보조적인 도구로 활용되어야 한다는 점이다. 또한 협회는 현재의 챗봇 시스템이 필수적인 안전장치를 갖추지 못해 사용자를 잘못된 정보나 부적절한 위기 대응, 건강하지 못한 의존 상태로 몰아넣을 위험이 크다고 경고했다.

협회는 지속적인 안전성 모니터링과 이상 사례 보고 체계를 통해 기술 혁신이 환자의 안전을 저해하지 않도록 해야 한다고 덧붙였다. 궁극적으로는 이러한 도구가 공공의 신뢰를 훼손하지 않으면서도 임상 진료를 보완할 수 있는 안전한 환경을 조성하는 것이 이번 제안의 핵심 목표다.