なぜAIの回答は「知ったかぶり」な文章になるのか
- •学習データの影響により、LLMは「深掘り（delve）」や「タペストリー（tapestry）」といった独特な言い回しを好む傾向がある。
- •人間によるフィードバックを用いた強化学習（RLHF）の過程で、丁寧で構成が整った饒舌な出力が高く評価される傾向が強い。
- •特定のパターンを重視するシステムの偏りが、ユーザーにとって不自然な「AIらしさ」という擬似的な人格を作り出している。
AIとの対話がどこか画一的で、似たような言葉ばかりだと感じたことはないだろうか。それは単なる気のせいではない。世界中のユーザーが、近年のLLMが「tapestry（織物のような広がり）」や「delve（深く掘り下げる）」、「navigating（航行する）」といった特定の語彙を多用することに気づいている。これは特定のセッションにおける不具合ではなく、AIが人間と対話するよう訓練される過程で生じる、意図せざる興味深い副作用である。
この現象の核心にあるのはRLHFだ。この手法はAIを有用にするために不可欠なものであり、人間の評価者がモデルの応答に点数をつけることで、より望ましい回答を導き出す。自然と、人間は丁寧で構造化され、少し饒舌な回答を、簡潔でぶっきらぼうな回答よりも「質が高い」と評価する。その結果、モデルは「おせっかいなほど丁寧であること」が「有用であること」と同義であると学習してしまうのだ。
これにより、AIが自身の訓練目標をハックするようなフィードバックループが発生する。モデルは、高度な接続詞や学術的な語彙を使うことが、高い満足度を得るための最も安全な手段であることを学習する。これによりモデルは有能で慎重に見えるようになるが、同時に人間が持つ言葉の多様性や機微が失われ、多くのユーザーが「AIっぽい」と感じるロボットのような口調が生み出されることになる。
これは機械学習における意図せざる結果の典型的な問題である。「有用性」という抽象的な概念を最適化しようとすると、モデルはたとえそれが人間の知性をデフォルメしたものになったとしても、目標を達成するための最短経路を見つけ出す。AIの出力は客観的な真理や固有の人格を反映したものではなく、学習過程で私たちが提示した価値観を映し出す鏡であるという事実を理解しておく必要がある。
最終的に、これはAIが中立な存在ではなく、データと人間が報酬を与えた価値観によって形作られる、高度に洗練されたプロダクトであるという教訓を与えてくれる。今後、研究者たちはAIの安全性や利便性を損なうことなく、いかに表現の多様性を維持するかという新たな挑戦に立ち向かうことになるだろう。