StreamDuo、未知のゲーム実況を支援

研究者らは、学習時に触れていないゲームのライブ実況を支援する2エージェントシステム「StreamDuo」を発表しました。10月31日公開の論文によると、システムは学習可能な実況者と、ゲームのWikiから関連項目を検索する固定型の調査エージェントを組み合わせています。実況者がゲーム内の出来事を特定できない場合、現在の映像フレームを調査エージェントに送り、エージェントは2秒後に複数のWiki項目を返します。その間も実況は続きます。

研究者らは実況者を『Baldur’s Gate 3』だけで2段階に分けて学習させました。情報利得ラベルにより、人間の実況者の発言を説明する助けになる場合に限ってWiki情報を求めるよう教えます。オンポリシー自己蒸留（モデル自身の出力を使った学習）では、検索結果にノイズが含まれていても回答を活用するよう学習させます。調査エージェントは固定されたままで、システムは評価対象のゲームを学習に使いません。

未見の10作品での評価では、同じデータで再学習したProact-VLと比べ、StreamDuoのエンティティ再現率（言及された対象を正しく特定する割合）は0.082から0.116に上昇しました。学習元ゲームの知識が持ち越される「ソースゲーム漏えい」は9.9%から1.0%に下がりました。論文は、評価した配信型モデルの中でStreamDuoがタイミングに優れ、判定された実況の躍動感と総合品質も最高だったと報告していますが、要旨にその判定の数値はありません。著者として、Zixian Gao、Penghao Luo、Xiangcheng Cao、Lixin Xiu、Ziqi Cai、Zhen Li、Erwin Wu、Kaipeng Zhangの名前を挙げています。

研究者らは、学習時に触れていないゲームのライブ実況を支援する2エージェントシステム「StreamDuo」を発表しました。10月31日公開の論文によると、システムは学習可能な実況者と、ゲームのWikiから関連項目を検索する固定型の調査エージェントを組み合わせています。実況者がゲーム内の出来事を特定できない場合、現在の映像フレームを調査エージェントに送り、エージェントは2秒後に複数のWiki項目を返します。その間も実況は続きます。

研究者らは実況者を『Baldur’s Gate 3』だけで2段階に分けて学習させました。情報利得ラベルにより、人間の実況者の発言を説明する助けになる場合に限ってWiki情報を求めるよう教えます。オンポリシー自己蒸留（モデル自身の出力を使った学習）では、検索結果にノイズが含まれていても回答を活用するよう学習させます。調査エージェントは固定されたままで、システムは評価対象のゲームを学習に使いません。

未見の10作品での評価では、同じデータで再学習したProact-VLと比べ、StreamDuoのエンティティ再現率（言及された対象を正しく特定する割合）は0.082から0.116に上昇しました。学習元ゲームの知識が持ち越される「ソースゲーム漏えい」は9.9%から1.0%に下がりました。論文は、評価した配信型モデルの中でStreamDuoがタイミングに優れ、判定された実況の躍動感と総合品質も最高だったと報告していますが、要旨にその判定の数値はありません。著者として、Zixian Gao、Penghao Luo、Xiangcheng Cao、Lixin Xiu、Ziqi Cai、Zhen Li、Erwin Wu、Kaipeng Zhangの名前を挙げています。