チャットボットと聴覚専門家を比較した研究

2026年に『American Journal of Audiology』で発表された盲検比較研究は、聴覚に関する症例の解釈と管理の提案について、ChatGPT 3.5とGemini 2.0 Flashを資格を持つ聴覚専門家と比較しました。研究は2段階の横断研究として実施され、完全性、誤情報の少なさ、根拠、適切さ、関連性を採点する専門家評価ツール「CLEAR」が使われました。

第1段階では、2年以上の経験を持つ聴覚専門家10人と2つのチャットボットが、匿名化された成人15症例を解釈し、計60件の解釈を作成しました。それぞれが診断と管理についての質問に答え、回答は計120件となりました。第2段階では、聴覚専門家30人が作成者を知らされずに120件すべてを個別に評価しました。各回答を5人が採点し、評価は計600件でした。

混合効果モデルによる分析では、CLEARスコアにおいてチャットボットの回答と聴覚専門家の回答に統計的有意差は認められず、すべてのp値が.22を上回りました。スコア差は5～25点の尺度で最大1.2点で、95%信頼区間はゼロをまたいでいました。評価者1人の場合の一致度は低く（級内相関係数＝.17～.18）、評価を集約すると信頼性は中程度でした（級内相関係数＝.50～.53）。内部一貫性は非常に高く（クロンバックのα＝.94～.95）、研究者は、結果は回答群の正式な同等性を証明するものではないものの、統制された条件下での実証的な比較基準になると述べました。

2026年に『American Journal of Audiology』で発表された盲検比較研究は、聴覚に関する症例の解釈と管理の提案について、ChatGPT 3.5とGemini 2.0 Flashを資格を持つ聴覚専門家と比較しました。研究は2段階の横断研究として実施され、完全性、誤情報の少なさ、根拠、適切さ、関連性を採点する専門家評価ツール「CLEAR」が使われました。

第1段階では、2年以上の経験を持つ聴覚専門家10人と2つのチャットボットが、匿名化された成人15症例を解釈し、計60件の解釈を作成しました。それぞれが診断と管理についての質問に答え、回答は計120件となりました。第2段階では、聴覚専門家30人が作成者を知らされずに120件すべてを個別に評価しました。各回答を5人が採点し、評価は計600件でした。

混合効果モデルによる分析では、CLEARスコアにおいてチャットボットの回答と聴覚専門家の回答に統計的有意差は認められず、すべてのp値が.22を上回りました。スコア差は5～25点の尺度で最大1.2点で、95%信頼区間はゼロをまたいでいました。評価者1人の場合の一致度は低く（級内相関係数＝.17～.18）、評価を集約すると信頼性は中程度でした（級内相関係数＝.50～.53）。内部一貫性は非常に高く（クロンバックのα＝.94～.95）、研究者は、結果は回答群の正式な同等性を証明するものではないものの、統制された条件下での実証的な比較基準になると述べました。