10言語モデルの信頼性を比較した研究
Semantic Scholar2026年10月21日 (水)
- •研究が10の大規模言語モデルの幻覚と事実の信頼性を比較
- •3人の評価者が4段階の難易度で70件の学術的質問への回答を採点
- •総合正確性はPerplexityとDeepSeek V3が首位、Falconは適合率100％で幻覚ゼロ
オサマ・シャビ、ダヤム・ナディーム、S・ソハイルらによる比較研究「流暢だが誤りもある」は、70件の学術的な質問を使って10の大規模言語モデルの幻覚と事実の信頼性を評価しました。2025年2月に各モデルの特定バージョンを対象とし、質問を基礎、説明、上級、ひっかけの4段階に分類しました。3人の評価者が各回答を独立に採点し、正確性、適合率、再現率、回答逸脱指数、幻覚指数を調べました。
総合正確性ではPerplexityとDeepSeek V3が最も高い評価を得ました。Geminiは再現率が高く、5つの指標全体でバランスの取れた成績でした。LLaMA 3は回答を控えめに生成することで、幻覚を抑えていました。上級の質問は全モデルにとって最も難しく、ひっかけ形式の質問は正誤の二択だったため、より安定して回答できました。
Falconは適合率が100％で幻覚もゼロでしたが、再現率は最も低く、回答逸脱は最も大きくなりました。著者らは、回答の網羅性と事実の信頼性にはトレードオフがあり、質問が複雑になるほどその傾向が強まったと報告しています。