Vectara Factual Consistency

かんたんに言うと · 文章を要約するとき、原文にある内容だけを書く割合

何を測定しますか？

文書の要約が原文にどれだけ忠実かの割合です。幻覚率を裏返した値に近いもの（おおよそ100% − 幻覚率）で、同じ情報を「高いほど良い」で見たものです。

誰がどのように評価しますか？

検索企業 Vectara がニュース・技術・医学・法律など7,700編以上の文書をAIに要約させ、自社の判定モデル HHEM（現在2.3版）が要約に原文にない事実が含まれていないかを検査します。文書集合は非公開のため事前に学習できません。この表は公開リーダーボードの値を取得しますが、リーダーボードから外れたり名前が変わったAIは最後に掲載された値を順位を付けずに表の下に別に表示します。

スコアの読み方

0〜100%、高いほど良い。幻覚率とほぼ対になりますが、リーダーボードで別々に発表される値のため小数点以下でずれることがあります。要約の忠実度のみを測り、一般知識の正確さは分かりません。

最終更新: 2026-09-22