PAR、長い系列の状態追跡を改善

研究者らは、学習時より長い系列でも状態の変化を追跡しやすくするため、ループ型言語モデル向けの訓練法「進捗整合型再帰（PAR）」を発表しました。ループ型モデルは同じ層を繰り返し実行しますが、反復回数を増やすだけでは、より長い系列に対応できるとは限りません。研究者らによると、最終回答だけを使う訓練では各ループがどれだけ進むべきかの手掛かりがなく、更新を繰り返すと隠れ状態のスケールがずれる可能性があります。

swap-S5タスクでは、最大32手の系列で訓練したQwen2.5-0.5Bモデルが、512手で完全な状態を評価する平均正解率95.5%を達成しました。これは学習例の16倍の長さです。同じモデル基盤で、論文はRLTが55.7%、思考の連鎖が0.8%だったと報告しています。制御したS5テストでは、ノルム固定を取り除くと系列長の外挿倍率は16倍から2.2倍未満に低下し、進捗整合型の教師信号を最終回答による教師信号に置き換えると、最大8倍に下がりました。

PARはループkでの予測が、最初のk回の操作後の状態に一致するよう訓練します。また、再帰状態のノルムを最初の反復時の値に合わせて再調整します。学習された完了判定器により、モデルは停止深度をあらかじめ固定せずに回答するタイミングを選べます。中間ラベルがない場合、接頭辞の自己蒸留を使い、最終回答だけから短い接頭辞での対応関係を推定できます。

論文によると、単一クエリのS5では、PARはテストしたすべての規模で固定深度モデルを上回りました。対象は0.5Bから7BまでのQwen2.5モデルと、0.6Bから4BまでのQwen3モデルです。Qwen2.5の4つの規模すべてで、最良の訓練実行は学習系列長の16倍にあたる長さで正解率100%を達成しました。

研究者らは、学習時より長い系列でも状態の変化を追跡しやすくするため、ループ型言語モデル向けの訓練法「進捗整合型再帰（PAR）」を発表しました。ループ型モデルは同じ層を繰り返し実行しますが、反復回数を増やすだけでは、より長い系列に対応できるとは限りません。研究者らによると、最終回答だけを使う訓練では各ループがどれだけ進むべきかの手掛かりがなく、更新を繰り返すと隠れ状態のスケールがずれる可能性があります。

swap-S5タスクでは、最大32手の系列で訓練したQwen2.5-0.5Bモデルが、512手で完全な状態を評価する平均正解率95.5%を達成しました。これは学習例の16倍の長さです。同じモデル基盤で、論文はRLTが55.7%、思考の連鎖が0.8%だったと報告しています。制御したS5テストでは、ノルム固定を取り除くと系列長の外挿倍率は16倍から2.2倍未満に低下し、進捗整合型の教師信号を最終回答による教師信号に置き換えると、最大8倍に下がりました。

PARはループkでの予測が、最初のk回の操作後の状態に一致するよう訓練します。また、再帰状態のノルムを最初の反復時の値に合わせて再調整します。学習された完了判定器により、モデルは停止深度をあらかじめ固定せずに回答するタイミングを選べます。中間ラベルがない場合、接頭辞の自己蒸留を使い、最終回答だけから短い接頭辞での対応関係を推定できます。

論文によると、単一クエリのS5では、PARはテストしたすべての規模で固定深度モデルを上回りました。対象は0.5Bから7BまでのQwen2.5モデルと、0.6Bから4BまでのQwen3モデルです。Qwen2.5の4つの規模すべてで、最良の訓練実行は学習系列長の16倍にあたる長さで正解率100%を達成しました。