Hugging Faceで公開された論文は、大規模言語モデルの推薦システム向け強化学習法ReMaRkを提案しました。この手法は、生成した推薦リストを、妥当な返信すべてと照らし合わせて一括評価します。著者らは、学習単位を個々の回答ではなく元の依頼として扱うべきだと説明しています。たとえば、Redditの依頼には、異なる作品名を挙げる複数の返信が寄せられることがあります。ReMaRkは返信に挙がった作品名を統合した集合と生成リストを比較し、各依頼を同じ確率で抽出します。

論文によると、既存のRank-GRPOは学習例ごとに返信を1つ選ぶため、利得スコアの変動の85％は生成リストの質ではなく、選ばれた返信によって説明されます。ReMaRkは学習コストを抑えながら、従来の性能に並ぶか上回ります。7つの基盤モデルと3つのデータセットで、返信ごとの強化学習を2,000ステップ行った場合の検証再現率に、学習ステップ数をその25〜53％に抑えて到達し、同じ学習予算ではより高い成績を示しました。

両手法を性能がそれ以上向上しなくなるまで学習させた場合、ReMaRkがRank-GRPOに有意な差で劣ることはありませんでした。7比較中4つでは、GPU時間をより少なく使いながらRank-GRPOの最高成績に到達しました。同じ報酬手法は、各質問に約100人が回答するProtoQAでも効果を示しました。著者らは、複数の答えが可能な課題で強化学習を行う際、人間の妥当な回答を複数まとめて報酬の対象にする意義を示す結果だと述べています。

Hugging Faceで公開された論文は、大規模言語モデルの推薦システム向け強化学習法ReMaRkを提案しました。この手法は、生成した推薦リストを、妥当な返信すべてと照らし合わせて一括評価します。著者らは、学習単位を個々の回答ではなく元の依頼として扱うべきだと説明しています。たとえば、Redditの依頼には、異なる作品名を挙げる複数の返信が寄せられることがあります。ReMaRkは返信に挙がった作品名を統合した集合と生成リストを比較し、各依頼を同じ確率で抽出します。

論文によると、既存のRank-GRPOは学習例ごとに返信を1つ選ぶため、利得スコアの変動の85％は生成リストの質ではなく、選ばれた返信によって説明されます。ReMaRkは学習コストを抑えながら、従来の性能に並ぶか上回ります。7つの基盤モデルと3つのデータセットで、返信ごとの強化学習を2,000ステップ行った場合の検証再現率に、学習ステップ数をその25〜53％に抑えて到達し、同じ学習予算ではより高い成績を示しました。

両手法を性能がそれ以上向上しなくなるまで学習させた場合、ReMaRkがRank-GRPOに有意な差で劣ることはありませんでした。7比較中4つでは、GPU時間をより少なく使いながらRank-GRPOの最高成績に到達しました。同じ報酬手法は、各質問に約100人が回答するProtoQAでも効果を示しました。著者らは、複数の答えが可能な課題で強化学習を行う際、人間の妥当な回答を複数まとめて報酬の対象にする意義を示す結果だと述べています。