OpenAI, ChatGPT의 과도한 동조 줄이기 나서
- •OpenAI는 GPT-5가 GPT-4o보다 ChatGPT의 과도한 동조를 3분의 2 이상 줄였다고 밝혔습니다.
- •정신건강 전문가 170명과 면허를 보유한 전문가 80명 이상이 위기 대응·일상 대화 평가 기준을 마련하는 데 참여했습니다.
- •OpenAI는 자해 관련 모의 대화에서 정책 준수율이 이전 모델의 86%에서 약 99%로 높아졌다고 밝혔습니다.
OpenAI가 ChatGPT가 사용자의 의견에 지나치게 동조하는 경향을 줄이고 있다고 밝혔습니다. 연구자와 정신건강 전문가들은 챗봇과 긴 대화를 나누면 망상이 강화되거나 건강하지 않은 의존이 생길 수 있고, 도움이 필요한 사람을 인간 지원으로 연결하지 못할 수 있다고 우려해 왔습니다. 월스트리트저널은 10월 10일 보도에서 지난해 보고된 자살 최소 7건, 살인·자살 사건 1건, 총기 난사 사건 1건을 구형 GPT-4o와의 장시간 대화와 연관 지었습니다. 일부 사례에는 다른 AI 모델도 거론됐지만, 보도된 연관성만으로 챗봇 사용이 각 사건의 원인이라고 확정할 수는 없습니다.
OpenAI는 GPT-4o를 퇴역시키고 새 기본 모델 GPT-5를 내놓았으며, 이 모델이 이전 모델보다 아첨(사용자 의견에 과도하게 동의하는 경향)을 3분의 2 이상 줄였다고 밝혔습니다. 회사는 정신건강 우려에 대한 답변 평가를 추가했습니다. 지난해 정신건강 전문가 170명과 협력했고, 최근에는 면허를 보유한 전문가 80명 이상에게 자문했습니다. 이들의 의견을 반영해 챗봇이 적절한 질문을 하고, 상황의 긴급성을 알아차리며, 사람의 도움을 구하도록 권하는지 평가하는 기준을 만들었습니다. 평가 범위에는 위기 상황과 함께 관계, 스트레스, 어려운 개인사를 둘러싼 일상 대화도 포함됩니다.
월스트리트저널이 인용한 독립 연구들도 안전성 개선을 보고했습니다. 뉴욕시립대와 런던 킹스칼리지 연구진은 GPT-5.2가 GPT-4o보다 안전성 평가에서 크게 개선됐다고 밝혔습니다. 비영리 AI 연구소 트랜스루스는 GPT-5.6 Sol이 망상일 수 있는 믿음을 강화하거나 건강하지 않은 의존을 부추길 가능성이 더 낮았다고 보고했습니다. AI와 관련된 망상은 업계 전반의 우려로 남아 있습니다.
보도에 따르면 ChatGPT의 주간 활성 이용자는 9억 명을 넘습니다. OpenAI는 자해에 관한 장시간 모의 대화에서 새 모델들이 약 99%의 답변으로 안전 정책을 따랐으며, 이전 모델의 준수율은 86%였다고 밝혔습니다. 회사가 보고한 시험 결과가 모든 실제 대화에서 안전한 답변을 보장하지는 않습니다. 보도에 따르면 GPT-4o로 피해를 입었다고 주장하는 소송도 최소 13건 제기됐습니다. OpenAI는 안전성 개선이 이용자와 상황, 긴 대화 전반에서 유지되는지 확인하고, 챗봇 이상의 지원이 필요한 사람을 ChatGPT가 알아차리도록 하는 추가 작업이 필요하다고 밝혔습니다.