AIの文章品質低下の原因：RLHFとモード崩壊
- •投機的デコーディングなどの推論最適化手法は、AIの文章品質を本質的に低下させるものではない。
- •RLHF訓練は、多様性よりも汎用的で無難な回答を優先することでモード崩壊を引き起こす。
- •ノンフィクションの課題は工学的に解決可能だが、長編フィクションの自動化は依然として困難である。
技術ライターであるダニエル・ヌワネリ(Daniel Nwaneri)は、AIが生成する文章の品質低下が、推論時の最適化手法ではなく、RLHFやモード崩壊に起因すると指摘している。投機的デコーディングは、小さなモデルで生成したトークンを大規模モデルが検証する速度向上技術であり、数学的に損失がなく出力品質を損なわない。コード生成における予測の受諾率が75-85%であるのに対し、創作的なフィクションでは50-65%に低下する可能性があるが、これは生成速度に影響するだけであり、文章内容そのものの劣化ではない。
これに対し、RLHF訓練はモデルに平穏で無難、かつ安全な回答を生成するよう促すため、出力が狭く一般的な平均値に収束してしまう。これはモード崩壊と呼ばれ、モデルの出力の幅を狭め、複数案から投票を行うような戦略の効果を打ち消してしまう現象である。ヌワネリは、このAIの文章生成能力の欠陥を2つのカテゴリーに分類した。ノンフィクションや技術文書における問題は、消費者に配慮した「優しく曖昧な表現」と「精密で直接的な記述」という相反する目標が混在していることに起因する。これは工学的な解決が可能であり、2024年11月に公開されたGPT-4oの執筆機能改善のように、特定のニーズに向けた更新で既に対処が進んでいる。
一方で、フィクションの作成ははるかに困難な課題である。コードのコンパイルテストのような明確なパフォーマンス指標が存在せず、複雑な長編物語を構築するための十分な学習データも不足しているためだ。技術ライターに対してヌワネリは、AIの出力だけに頼るのではなく、厳格な手動編集が必要だと説く。同氏が開発した36のパターンをチェックするツールは、AIがRLHFの影響で生成しがちな「ためらい」や「曖昧な一般化」を特定し、ライター自身の基準と照らし合わせて除去する。AIは現時点で独創的で洞察に満ちた議論を構築することはできないが、これらの失敗モードを特定することで、ノンフィクション作業における実用的な改善は直ちに可能である。