研究者らは、大型の教師モデルに似た判断を小型言語モデルのエージェントに学習させる手法「ActionOPD」を発表しました。論文は10月14日に公開され、Huining Yuanが10月15日にHugging Faceへ投稿しました。著者はHuining Yuan、Xiangmin Yi、Zelai Xu、Zixu Wang、Xinlei Chen、Xiao-Ping Zhang、Yu Wang、Chao Yuです。

ActionOPDは、意味のあるツール使用の判断を訓練単位とします。学習対象のモデルが遭遇した状況で、学習対象モデルと内部の仕組みが見えない教師モデルの双方から行動を抽出し、その意味がどれほど一致するかに応じて学習対象モデルに報酬を与えます。この手法は報酬を高めるよう選択を調整する方策最適化を使い、教師モデルのトークン確率や共通のトークナイザー、教師が書いた推論の再現を必要としません。

研究者らは、厳選したツール使用タスクで、2つの教師モデルを使ってQwen3-4BとQwen3-8Bを訓練しました。訓練時のデータ分布に含まれない課題で測る4つのベンチマークでは、平均3.3～6.9ポイント向上しました。ActionOPDの性能は学習対象モデルの規模と教師モデルの能力に応じて伸び、両者が同じモデル系列である必要もありませんでした。τ^2-benchでは、オフライン蒸留やトークン単位のオンポリシー蒸留に匹敵する性能を達成しました。チームは、同じモデルを教師として使い、追加の特権的な文脈を与えるSelf-ActionOPDも検討しました。

研究者らは、大型の教師モデルに似た判断を小型言語モデルのエージェントに学習させる手法「ActionOPD」を発表しました。論文は10月14日に公開され、Huining Yuanが10月15日にHugging Faceへ投稿しました。著者はHuining Yuan、Xiangmin Yi、Zelai Xu、Zixu Wang、Xinlei Chen、Xiao-Ping Zhang、Yu Wang、Chao Yuです。

ActionOPDは、意味のあるツール使用の判断を訓練単位とします。学習対象のモデルが遭遇した状況で、学習対象モデルと内部の仕組みが見えない教師モデルの双方から行動を抽出し、その意味がどれほど一致するかに応じて学習対象モデルに報酬を与えます。この手法は報酬を高めるよう選択を調整する方策最適化を使い、教師モデルのトークン確率や共通のトークナイザー、教師が書いた推論の再現を必要としません。

研究者らは、厳選したツール使用タスクで、2つの教師モデルを使ってQwen3-4BとQwen3-8Bを訓練しました。訓練時のデータ分布に含まれない課題で測る4つのベンチマークでは、平均3.3～6.9ポイント向上しました。ActionOPDの性能は学習対象モデルの規模と教師モデルの能力に応じて伸び、両者が同じモデル系列である必要もありませんでした。τ^2-benchでは、オフライン蒸留やトークン単位のオンポリシー蒸留に匹敵する性能を達成しました。チームは、同じモデルを教師として使い、追加の特権的な文脈を与えるSelf-ActionOPDも検討しました。