5つの大規模言語モデル、虚偽検出で比較
Semantic Scholar2026年10月28日 (水)
- •2026年の研究で、旅行体験を語る面接記録を使い、5つの大規模言語モデルの真偽判定を比較
- •Gemini-3-flashが正解率74.74%、AUC 0.76、感度81.63%、特異度67.39%で首位
- •実用化の前に、人による判定、異文化での再検証、敵対的テストが必要と研究者らが指摘
Meng-Chen He、Wei Ji、Jing-Xuan Ranらは2026年、学術誌『Applied Cognitive Psychology』に発表した研究で、5つの大規模言語モデルによる真偽判定を比較しました。対象は中国語話者95人の旅行体験に関する口述記録を使った面接記録です。基準に基づく内容分析、現実モニタリング、検証可能性アプローチを参考に、各モデルに物語の手がかり5項目を採点させたうえで、発言が真実か虚偽かを分類させました。
Gemini-3-flashは正解率74.74%で最も高く、AUCは0.76、感度は81.63%、特異度は67.39%でした。繰り返し実行しても結果は安定していました。このモデルでは、研究者らが文章の長さを考慮した後、珍しい、または不要な細部だけが客観的な真実性を有意に予測しました。
研究者らによると、大規模言語モデルは偶然を上回る水準で虚偽を検出しましたが、性能にはモデル間で大きな差がありました。実社会で導入する前に、人による独立した判定、異文化間での再現研究、敵対的な入力への耐性試験が必要だとしています。