TurnWise、動画の応答判断を改善
- •TurnWiseがストリーミング動画理解で、応答するか待つかの判断ごとに学習上の評価を割り当て
- •各判断後に残る報酬を使って評価し、出力の長さにかかわらず応答と待機を同等に扱う設計
- •著者らは、学習済みの評価モデルや追加の試行なしで従来の強化学習手法を上回ったと報告
研究者らは、ストリーミング動画理解向けのターン単位強化学習フレームワーク「TurnWise」を提案しました。論文は11月4日に公開され、11月5日にHugging Faceへ投稿されました。この手法は、動画を見ながらモデルが応答するか、観察を続けるかを繰り返し判断する課題に対応します。論文によると、この設定ではグループ相対方策最適化（グループ内の報酬を相対比較して方策を更新する手法）が使われてきましたが、従来手法は報酬設計に重点を置き、複数のターンからなる一連のやり取り全体に共通の評価を割り当てていました。そのため、早い段階で成功した後の重複した返答が強化されたり、先の失敗後に有用な追加応答を控えたりする可能性があるとしています。
TurnWiseはやり取りの各判断に個別の信用割当（結果への貢献を各判断に割り振る方法）を行い、ターンごとの学習信号を対話の進行に合わせます。ターン単位の信用割当では、無応答で区切った接頭部分の採点を使い、各判断の後に残るリターンからグループ内で相対的な優位度を計算します。これにより、それ以前に得た報酬と切り分けて評価します。また、ターン平均方策最適化では、各ターン内のトークン損失を平均した後、ターン間でも平均します。応答と待機の判断は、生成トークン数にかかわらず同じ重みになります。
著者らは、2つの設計により、将来の報酬を推定する学習済み評価モデルや追加の試行系列を使わずに、ストリーミング方策の学習が改善すると述べています。広範な実験で、TurnWiseはストリーミング動画理解における従来の強化学習手法を上回ったと報告しました。論文の著者は22人で、Hugging Faceの「本日の論文」欄では2位に掲載され、ページには89件の賛成票が表示されていました。