研究者らは、学生モデルの解答に教師モデルの批評を使って誤りを修正し、数学的推論を改善する言語モデル訓練法「CriticOPD」を発表しました。論文「批評に導かれたオンポリシー蒸留による信頼できる教師信号の回復」は10月14日にHugging Faceで公開され、Kaixiang Zhao氏らが10月15日に投稿しました。

オンポリシー蒸留では、学生モデルが自ら生成した解答を使って学習し、教師モデルが各トークンに指針を与えます。この手法は、途中までのどの解答からでも教師モデルが正解を導けると仮定します。しかし研究者らによると、学生の解答に誤りがある場合、この仮定は成り立たないことがあります。教師モデルは誤りに気づいても、誤った解答の筋道に沿って続けることがあります。研究者らは、学生の途中解答から正解を導き直す教師モデルの能力を「回復可能性」と呼んでいます。

CriticOPDでは、教師モデルが誤った解答を批評し、学生モデルはそのフィードバックを使って残りの手順を書き直します。教師モデルは批評を見ながら書き直された続きに点数を付け、その後、学生モデルは批評を見ずに修正版で学習します。論文によると、採点時には批評が「特権情報」として機能します。

2つのQwen3学生モデルを使い、数学的推論の6つのベンチマークで試験したところ、標準的なオンポリシー蒸留と比べた平均精度の上昇幅は、Qwen3-1.7Bで4.57ポイント、Qwen3-0.6Bで4.06ポイントでした。研究者らは、競技形式の問題で最も大きな改善が見られたと報告しています。

研究者らは、学生モデルの解答に教師モデルの批評を使って誤りを修正し、数学的推論を改善する言語モデル訓練法「CriticOPD」を発表しました。論文「批評に導かれたオンポリシー蒸留による信頼できる教師信号の回復」は10月14日にHugging Faceで公開され、Kaixiang Zhao氏らが10月15日に投稿しました。

オンポリシー蒸留では、学生モデルが自ら生成した解答を使って学習し、教師モデルが各トークンに指針を与えます。この手法は、途中までのどの解答からでも教師モデルが正解を導けると仮定します。しかし研究者らによると、学生の解答に誤りがある場合、この仮定は成り立たないことがあります。教師モデルは誤りに気づいても、誤った解答の筋道に沿って続けることがあります。研究者らは、学生の途中解答から正解を導き直す教師モデルの能力を「回復可能性」と呼んでいます。

CriticOPDでは、教師モデルが誤った解答を批評し、学生モデルはそのフィードバックを使って残りの手順を書き直します。教師モデルは批評を見ながら書き直された続きに点数を付け、その後、学生モデルは批評を見ずに修正版で学習します。論文によると、採点時には批評が「特権情報」として機能します。

2つのQwen3学生モデルを使い、数学的推論の6つのベンチマークで試験したところ、標準的なオンポリシー蒸留と比べた平均精度の上昇幅は、Qwen3-1.7Bで4.57ポイント、Qwen3-0.6Bで4.06ポイントでした。研究者らは、競技形式の問題で最も大きな改善が見られたと報告しています。