勃起不全情報をめぐるチャットボット評価
- •6種類のチャットボットに勃起不全に関する標準質問38問を送り、回答228件を分析
- •評価者5人による正確性の中央値は全インターフェースで5点満点中4.00点、安全性の警告は26件
- •研究者らは、個別の臨床評価をチャットボットで置き換えるべきではないと指摘
2026年に『Sexual Health』誌で発表された横断的評価で、研究者らは患者向けの勃起不全情報について、6種類の大規模言語モデルのチャットボットを比較しました。各インターフェースに標準化した質問38問を1回ずつ送り、計228件の回答を収集。独立した評価者5人が、安全性、正確性、共感性、情報の質、出典の透明性、読みやすさ、回答の長さを評価しました。評価にはDISCERN、患者向け情報の質を保証する指標、米国医師会（JAMA）の基準、総合品質スコアを用いました。
安全性に関する警告が付いた回答は26件（11.4%）でした。インターフェース間で警告率に差が見られました（Q = 11.765、P = 0.038）が、効果量は小さく（0.062、95%信頼区間 0.026～0.148）、多重比較の補正後に有意なペア差は残りませんでした。正確性の中央値は全インターフェースで5点満点中4.00点でしたが、全体ではわずかな差がありました（P = 0.010、ケンドールのW = 0.080）。
共感性（P < 0.001、W = 0.160）、DISCERN（P = 0.003、W = 0.508）、患者向け情報の質を保証する指標（P < 0.001、W = 0.576）、JAMA基準（P < 0.001、W = 0.888）のスコアには有意差がありました。総合品質スコアには有意差がなく（P = 0.146）、読みやすさと回答の長さにはいずれも差がありました（両方ともP < 0.001）。研究者らは、チャットボットは概して正確な勃起不全情報を提供したものの、臨床上重要な評価項目によって性能にばらつきがあったと結論づけました。情報を探す際の支援にはなり得ますが、個々の患者に応じた臨床評価に取って代わるべきではないとしています。