探索的サンプリングによるLLMの創造性向上
- •探索的サンプリングは、Decodingを未知の経路へ誘導することでLLMの多様性を高める
- •新フレームワークtLLMは、最適化されたvLLMベースラインに対し推論時に98.8%のスループットを達成
- •潜在的な予測誤差に基づく新規性シグナルが、推論モデルの効率を大幅に改善
大規模言語モデル（LLM）に対して質問を行う際、モデルは通常、最も確率の高い次単語を選択して回答を生成する。この仕組みは単純なタスクでは信頼できるが、モデルが予測可能なパターンに陥りやすく、既習の内容を繰り返すことで推論の幅を犠牲にするという限界がある。上海テック大学の研究チームは、この課題を解決する「探索的サンプリング（ESamp）」という手法を考案した。
ESampの核心的な直感は、推論プロセスにおいてモデルをあえて踏み慣らされていない代替的な経路へと導く点にある。研究チームは「潜在蒸留器（Latent Distiller）」と呼ばれる軽量なコンポーネントを導入し、モデルの内部処理を監視させた。この蒸留器は、プロンプトに対する初期の理解を示す浅い表現と、深い思考層での表現を比較することで、回答が定型的または冗長になっているかを検知する。
蒸留器がモデルの予測が馴染み深い経路にあると判断した場合、その経路にフラグを立てる。さらに「新規性シグナル」を提供することで、モデルを未探索のセマンティックな方向へと誘導する。この手法は理論に留まらず、数学、科学、コーディングのベンチマークにおいて精度向上が実証された。これは、必ずしもモデルを巨大化させる必要はなく、既存モデルの導き方を改善するだけで回答の質が高まる可能性を示唆している。
こうした推論時の介入で最大の障壁となるのは、処理の大幅な遅延により実用性が損なわれる点である。これを解決するため、研究チームはtLLMという非同期システムを開発した。蒸留プロセスをメインの生成フローから切り離すことで、ESampはvLLMベースラインの98.8%という驚異的なスループットを維持することに成功した。
本研究は、開発者が求める速度を犠牲にすることなく、洗練された適応型推論をAIモデルに追加できることを証明した。学術的な深遠な革新と、プロダクション環境における実用的なソフトウェア工学の要求を結びつける橋渡しとなる成果である。