LLMの推論能力を向上させる「睡眠」メカニズム
arXiv
2026年5月27日 (水)
- •研究チームは、長期間のタスク実行時にLLMのメモリ効率を改善する、睡眠に似た統合メカニズムを開発した。
- •このモデルは、文脈を永続的な高速重みに変換し、定期的なオフライン段階でキー・バリューキャッシュをクリアする。
- •テストでは、睡眠時間の延長に伴い推論性能が向上し、従来の標準的なモデルを複雑な推論タスクで上回った。
サンユン・リー(Sangyun Lee)、ショーン・マクリーシュ(Sean McLeish)、トム・ゴールドスタイン(Tom Goldstein)、ジュリア・ファンティ(Giulia Fanti)の研究チームは、2026年5月25日に提出された論文で、大規模言語モデル(LLM)のための睡眠に似た統合メカニズムを発表した。この手法は、トランスフォーマーベースのモデルにおける、長い文脈長に対するスケーリングの難しさを解決する。提案システムは、直近の入力を定期的に永続的な高速重みに変換し、その後にモデルのキー・バリューキャッシュをクリアしてメモリを効率的に管理する。
睡眠のようなフェーズの間、モデルは蓄積された文脈に対してN回のオフライン再帰パスを実行し、状態空間モデル(SSM)ブロック内の高速重みを学習済みのローカルルールに従って更新する。このアプローチにより、集中的な計算タスクがオフラインフェーズへと移行されるため、アクティブな推論時には低レイテンシのパフォーマンスを維持できる。
セル・オートマトンや多ホップグラフ探索といった合成タスク、および複雑な数学的推論を用いたテストでは、この統合手法が標準的なトランスフォーマーやSSMとアテンションを組み合わせたハイブリッドモデルを上回った。研究者らは、睡眠時間を長くするほどモデル性能が直接的に向上することを確認しており、特に深い推論能力を要するタスクで顕著な改善が見られた。