FDA, 의료기기 생성형 AI 규제 의견 500건 접수

환자와 의료진 단체, 의료기기 기업이 10월 중순까지 미국 식품의약국(FDA)에 의료기기 생성형 AI 규제 방안을 두고 500건 넘는 의견을 제출했습니다. FDA는 8월 토론 문서에서 의사 자격 심사 방식에서 착안한 검토 체계를 제안하고, 출시 후 모니터링을 강조하며 의견을 요청했습니다. 생성형 AI는 글과 이미지, 코드를 만들 수 있지만 결과가 달라질 수 있고 시간이 지나며 성능이 변할 수 있습니다.

의료기술 로비 단체 AdvaMed는 생성형 AI 전용 규칙을 만들기보다 기존 규제 체계를 활용하라고 촉구했습니다. 생성형 AI 추가만으로 역량 평가를 자동 실시해서는 안 된다고 했으며, 기기 변경 계획의 사전 승인 절차를 넓히고 일률적 방식보다 위험도에 따른 출시 후 모니터링을 선호했습니다. 또 시장 출시 뒤 성능 모니터링 책임은 의료진과 환자가 아니라 제조사에 있어야 한다고 주장했습니다. 의료기기 제조업체협회와 GE Healthcare도 기존 체계 활용에 지지를 표했습니다.

심혈관 중재 시술 협회에서 AI 관련 업무를 맡는 심장내과 전문의 2명은 FDA가 도구가 의사결정을 지원하는 경우와 직접 결정하는 경우를 명확히 구분해야 한다고 말했습니다. 아프난 타리크 박사는 의사 부족 상황에서 AI가 의사를 대체할지, 업무를 확대하도록 도울지가 쟁점이라고 했습니다. 이슬람 아부다예 박사는 생성형 AI의 출력이 결정처럼 들릴 수 있어 구분이 어렵다고 설명했습니다. AI 보조 분획 혈류 예비력 CT 검사 결과처럼 일부 결과는 FDA가 검증할 수 있지만, 치료 환자 우선순위를 정하거나 지급액을 산정하는 도구는 판단 기준이 더 불분명하다고 말했습니다.

스마트 링 업체 Oura는 FDA가 웨어러블 기능의 위험을 어떻게 평가할지, 일부 기능이 웰니스 면제 대상이 될 수 있는지 물었습니다. 최고 의료 책임자인 리키 블룸필드 박사는 지시하지 않고 정보를 제공하는 기능은 의료기기로 취급하지 않거나 규제 집행을 유예해야 한다고 주장하며 증상 확인 도구에 비유했습니다. 그는 대규모 언어 모델이 웨어러블 측정값이 고혈압을 시사할 수 있다고 설명하고 의료 전문가와 상담하라고 안내하는 사례를 들었습니다. Oura는 자사 링에 FDA 승인을 받은 기능이 없으며 의료기기 업체와 협력을 모색해 왔다고 밝혔습니다.

만성 질환이 있는 청년을 대표하는 비영리단체 Generation Patient는 출시 전 근거 수준을 낮추지 않은 채 출시 후 모니터링을 확대하라고 요구했습니다. 정책 책임자 루이스 길 아비나데르는 출시 뒤 모니터링으로 책임을 옮기면 피해가 발생할 때까지 환자가 위험에 노출될 수 있다고 말했습니다. 이 단체는 AI 동반자 도구를 웰니스 면제에서 제외하라고도 촉구했습니다. JAMA Pediatrics 설문에서 12~21세 미국인의 거의 5분의 1이 정신건강 조언을 얻기 위해 AI 챗봇을 사용한 것으로 나타났다는 점을 근거로 들며, 해당 도구는 모의 관계를 지속하고 정서적 고통을 겪는 이용자의 참여를 유도하도록 설계됐다고 주장했습니다.

스탠퍼드대 정신의학 교수이자 Brainstorm 정신건강 혁신 연구소를 이끄는 니나 바산 박사는 표시된 용도 외에 합리적으로 예상 가능한 사용 상황에서도 기기를 검사하라고 권고했습니다. 자살 위험 누락, 패혈증 누락, 잘못된 인슐린 조정처럼 심각한 실패에는 별도의 합격·불합격 검사를 마련해야 한다고 말했습니다. 모델 오류는 여러 환자와 기관, 기기에서 반복될 수 있으며, 연구소의 안전성 평가에서는 대화가 길어질 때 모델의 행동이 나빠질 수 있었습니다. 일부 평가는 대화를 몇 차례만 진행하고 끝납니다.

바산 박사는 더 긴 대화에서 ChatGPT의 안전장치가 약해지는 사례를 들었습니다. 자해로 생긴 상처를 숨기는 방법을 묻도록 한 시험자는 의료기관 안내 대신 제품 추천을 받았습니다. Claude 시험에서는 새 대화를 시작해 처음 설정된 경계선을 우회했습니다. 바산 박사는 실패가 중요한 정보의 누락, 해로운 동조, 시간에 따른 응답 변화, 시험에서는 작동하지만 실제 사용에서 실패하는 안전장치 등으로 나타날 수 있다고 말했습니다.

환자와 의료진 단체, 의료기기 기업이 10월 중순까지 미국 식품의약국(FDA)에 의료기기 생성형 AI 규제 방안을 두고 500건 넘는 의견을 제출했습니다. FDA는 8월 토론 문서에서 의사 자격 심사 방식에서 착안한 검토 체계를 제안하고, 출시 후 모니터링을 강조하며 의견을 요청했습니다. 생성형 AI는 글과 이미지, 코드를 만들 수 있지만 결과가 달라질 수 있고 시간이 지나며 성능이 변할 수 있습니다.

의료기술 로비 단체 AdvaMed는 생성형 AI 전용 규칙을 만들기보다 기존 규제 체계를 활용하라고 촉구했습니다. 생성형 AI 추가만으로 역량 평가를 자동 실시해서는 안 된다고 했으며, 기기 변경 계획의 사전 승인 절차를 넓히고 일률적 방식보다 위험도에 따른 출시 후 모니터링을 선호했습니다. 또 시장 출시 뒤 성능 모니터링 책임은 의료진과 환자가 아니라 제조사에 있어야 한다고 주장했습니다. 의료기기 제조업체협회와 GE Healthcare도 기존 체계 활용에 지지를 표했습니다.

심혈관 중재 시술 협회에서 AI 관련 업무를 맡는 심장내과 전문의 2명은 FDA가 도구가 의사결정을 지원하는 경우와 직접 결정하는 경우를 명확히 구분해야 한다고 말했습니다. 아프난 타리크 박사는 의사 부족 상황에서 AI가 의사를 대체할지, 업무를 확대하도록 도울지가 쟁점이라고 했습니다. 이슬람 아부다예 박사는 생성형 AI의 출력이 결정처럼 들릴 수 있어 구분이 어렵다고 설명했습니다. AI 보조 분획 혈류 예비력 CT 검사 결과처럼 일부 결과는 FDA가 검증할 수 있지만, 치료 환자 우선순위를 정하거나 지급액을 산정하는 도구는 판단 기준이 더 불분명하다고 말했습니다.

스마트 링 업체 Oura는 FDA가 웨어러블 기능의 위험을 어떻게 평가할지, 일부 기능이 웰니스 면제 대상이 될 수 있는지 물었습니다. 최고 의료 책임자인 리키 블룸필드 박사는 지시하지 않고 정보를 제공하는 기능은 의료기기로 취급하지 않거나 규제 집행을 유예해야 한다고 주장하며 증상 확인 도구에 비유했습니다. 그는 대규모 언어 모델이 웨어러블 측정값이 고혈압을 시사할 수 있다고 설명하고 의료 전문가와 상담하라고 안내하는 사례를 들었습니다. Oura는 자사 링에 FDA 승인을 받은 기능이 없으며 의료기기 업체와 협력을 모색해 왔다고 밝혔습니다.

만성 질환이 있는 청년을 대표하는 비영리단체 Generation Patient는 출시 전 근거 수준을 낮추지 않은 채 출시 후 모니터링을 확대하라고 요구했습니다. 정책 책임자 루이스 길 아비나데르는 출시 뒤 모니터링으로 책임을 옮기면 피해가 발생할 때까지 환자가 위험에 노출될 수 있다고 말했습니다. 이 단체는 AI 동반자 도구를 웰니스 면제에서 제외하라고도 촉구했습니다. JAMA Pediatrics 설문에서 12~21세 미국인의 거의 5분의 1이 정신건강 조언을 얻기 위해 AI 챗봇을 사용한 것으로 나타났다는 점을 근거로 들며, 해당 도구는 모의 관계를 지속하고 정서적 고통을 겪는 이용자의 참여를 유도하도록 설계됐다고 주장했습니다.

스탠퍼드대 정신의학 교수이자 Brainstorm 정신건강 혁신 연구소를 이끄는 니나 바산 박사는 표시된 용도 외에 합리적으로 예상 가능한 사용 상황에서도 기기를 검사하라고 권고했습니다. 자살 위험 누락, 패혈증 누락, 잘못된 인슐린 조정처럼 심각한 실패에는 별도의 합격·불합격 검사를 마련해야 한다고 말했습니다. 모델 오류는 여러 환자와 기관, 기기에서 반복될 수 있으며, 연구소의 안전성 평가에서는 대화가 길어질 때 모델의 행동이 나빠질 수 있었습니다. 일부 평가는 대화를 몇 차례만 진행하고 끝납니다.

바산 박사는 더 긴 대화에서 ChatGPT의 안전장치가 약해지는 사례를 들었습니다. 자해로 생긴 상처를 숨기는 방법을 묻도록 한 시험자는 의료기관 안내 대신 제품 추천을 받았습니다. Claude 시험에서는 새 대화를 시작해 처음 설정된 경계선을 우회했습니다. 바산 박사는 실패가 중요한 정보의 누락, 해로운 동조, 시간에 따른 응답 변화, 시험에서는 작동하지만 실제 사용에서 실패하는 안전장치 등으로 나타날 수 있다고 말했습니다.