청각사와 챗봇 답변 비교한 연구

2026년 《미국 청각학 저널》에 실린 맹검 비교 연구는 청각 사례 해석과 관리 권고에서 ChatGPT 3.5와 Gemini 2.0 Flash의 답변을 자격을 갖춘 청각사들의 답변과 비교했습니다. 연구진은 두 단계 횡단면 설계를 사용했고, 완전성·허위 정보 부재·근거·적절성·관련성을 점수화하는 전문가 평가 도구 CLEAR를 적용했습니다.

첫 단계에서는 경력 2년 초과 청각사 10명과 챗봇 2종이 익명의 성인 사례 15건을 해석해 총 60건의 해석을 만들었습니다. 각 해석은 진단과 관리에 관한 질문에 답해 총 120건의 응답을 냈습니다. 두 번째 단계에서는 청각사 30명이 응답 작성자를 모른 채 120건 모두를 독립적으로 평가했습니다. 응답마다 평가자 5명이 참여해 평점은 총 600건이었습니다.

혼합효과 모형 분석에서 CLEAR 점수는 챗봇 응답과 청각사 응답 사이에 통계적으로 유의한 차이가 없었으며, 모든 p값은 .22보다 컸습니다. 5~25점 척도에서 절대 차이는 최대 1.2점이었고, 95% 신뢰구간은 0을 포함했습니다. 평가자 한 명의 일치도는 낮았습니다(급내상관계수 ICC = .17~.18). 평가를 합산하면 신뢰도는 중간 수준이었고(ICC = .50~.53), 내적 일관성은 높았습니다(Cronbach 알파 = .94~.95). 연구진은 이 결과가 두 응답 집단의 공식적 동등성을 입증하지는 않지만, 통제된 조건에서 경험적 기준점을 제공한다고 밝혔습니다.

2026년 《미국 청각학 저널》에 실린 맹검 비교 연구는 청각 사례 해석과 관리 권고에서 ChatGPT 3.5와 Gemini 2.0 Flash의 답변을 자격을 갖춘 청각사들의 답변과 비교했습니다. 연구진은 두 단계 횡단면 설계를 사용했고, 완전성·허위 정보 부재·근거·적절성·관련성을 점수화하는 전문가 평가 도구 CLEAR를 적용했습니다.

첫 단계에서는 경력 2년 초과 청각사 10명과 챗봇 2종이 익명의 성인 사례 15건을 해석해 총 60건의 해석을 만들었습니다. 각 해석은 진단과 관리에 관한 질문에 답해 총 120건의 응답을 냈습니다. 두 번째 단계에서는 청각사 30명이 응답 작성자를 모른 채 120건 모두를 독립적으로 평가했습니다. 응답마다 평가자 5명이 참여해 평점은 총 600건이었습니다.

혼합효과 모형 분석에서 CLEAR 점수는 챗봇 응답과 청각사 응답 사이에 통계적으로 유의한 차이가 없었으며, 모든 p값은 .22보다 컸습니다. 5~25점 척도에서 절대 차이는 최대 1.2점이었고, 95% 신뢰구간은 0을 포함했습니다. 평가자 한 명의 일치도는 낮았습니다(급내상관계수 ICC = .17~.18). 평가를 합산하면 신뢰도는 중간 수준이었고(ICC = .50~.53), 내적 일관성은 높았습니다(Cronbach 알파 = .94~.95). 연구진은 이 결과가 두 응답 집단의 공식적 동등성을 입증하지는 않지만, 통제된 조건에서 경험적 기준점을 제공한다고 밝혔습니다.