科学論文のAI生成文を検出する枠組み

Semantic Scholar2026年10月14日 (水)
  • •プラヴァンカル・ボルア氏、科学論文のAI生成文を検出する軽量な複合枠組みを報告
  • •8,197件の文書で、組み合わせモデルは正解率95.80%、ROC-AUC 98.92%を記録
  • •人間が書いた未学習の科学文書では特異度96.71%、偽陽性率3.29%を達成

プラヴァンカル・ボルア氏は、2026年に『Journal of Scientific Research and Reports』で発表した論文で、科学分野のAI生成文を検出する軽量な枠組みを報告しました。システムは、単語単位のTF-IDF(語の重要度を数値化する手法)による1~3語の連なり、文字単位のTF-IDFによる3~6文字の連なり、調整済み線形分類、GPT-2を基にした言語モデルのサプライザル(文章の予想外さを測る指標)を組み合わせます。各要素の出力は重み付けして統合します。研究の背景には、科学論文執筆での生成AI利用に伴う選別の必要性と、著者の透明性や研究の公正性への懸念があります。

研究チームは、人間が執筆した4,100件とAIが生成した4,097件、計8,197件の文書で枠組みを評価しました。評価用に取り分けた1,640件は、両方の分類が820件ずつでした。全要素を組み合わせたモデルは、正解率95.80%、適合率97.10%、再現率94.35%、F1スコア95.71%、ROC-AUC 98.92%を記録しました。人間が書いた評価用の科学文書では、特異度96.71%で、偽陽性率は3.29%でした。

全データを使った層化5分割の安定性分析では、平均正解率が94.90%±0.53、ROC-AUCが98.58%±0.26でした。著者らは、評価対象のコーパス条件下で科学文書を効率よく選別できる可能性が示されたと述べています。また、人間による監督を保ちながら、編集者の評価とAI支援執筆の透明性を支える計算効率の高いツールの基盤になると説明しました。