LLMの医学論文査読トリアージ性能を検証
Semantic Scholar
2026年7月16日 (木)
- •Ministral 3 14Bモデルは、医学論文の編集判断と37.0%の一致率を示した。
- •AIは61.1%の投稿に修正を推奨し、系統的な修正バイアスが見られた。
- •リジェクト推奨時の陽性的中率は90.5%に達し、初期スクリーニングへの有用性が示唆された。
2026年7月12日にAmerican Journal of Sports Medicineで発表された研究では、査読プロセスを支援する大規模言語モデル（LLM）の能力が評価された。研究チームは、2024年9月から2024年10月の間に投稿された54本の論文を、ローカル環境に展開したMinistral 3 14Bモデルを用いて分析した。AIは各投稿に対してカテゴリー別の推奨と0から100の数値スコアを生成し、人間の編集判断と比較された。
人間による査読者グループの最終判断に対する合意率は42.4%（κ = 0.181）であった。一方、AIモデルの合意率は37.0%（κ = 0.126）で、有意な差は認められなかった。AIは、投稿の61.1%に対して修正を推奨する「修正バイアス」を示したが、実際にこれらの論文の72.7%はリジェクトまたはカスケードという結果に至った。
しかし、AIはトリアージツールとしての潜在能力を示している。AIがリジェクトまたはカスケードを推奨した場合、実際にその決定が下される確率は90.5%に達し、陽性的中率（PPV）は90.5%、特異度は81.8%となった。さらに、AIスコアが70未満の論文は88.0%の割合でリジェクトまたはカスケードされていた。著者らは、AIが人間の微妙な判断に取って代わることはできないものの、リジェクトに対する高い陽性的中率は探索的スクリーニングにおける有用性を示していると結論付けている。