シドニー工科大学の研究者、3エージェントRAG「TRIO」を提案

シドニー工科大学の研究者は11月2日公開の論文で、検索拡張生成（外部情報を検索して回答を作る手法）の枠組み「TRIO」を提案しました。3つの専門エージェントが反復的に処理を改善し、質問の拡張、検索した根拠の判定、回答の作成をそれぞれ別の目的で最適化します。著者らは、既存の検索拡張生成システムでは不十分な情報を取得し、幻覚を含む回答を生成する場合があると述べています。

質問拡張エージェントは曖昧な質問を明確にし、拡張した質問によって回答の質が向上したかに応じて報酬を受けます。判定エージェントは全員一致の投票で、拡張された質問を「不十分」か「十分」と分類し、その出力を最適化の正解データとして使います。回答エージェントは、動的な照合に基づく報酬とカリキュラム学習（段階的に難しい課題へ進む学習法）によって、根拠の活用と回答精度を高めるよう最適化されます。

著者らによると、TRIOは質問応答ベンチマーク5種の平均Exact Matchで最高値を記録し、Search-R1を含む強力な既存手法を上回りました。Hugging Faceの要約では、未見のPubMedQAで正答率76.6%に達し、4Bおよび8Bの小型モデルでも高い性能を示したとされています。論文は、複数のベンチマーク用データセットでの実験により、最先端手法と比較して有効性を確認したと説明し、コードはGitHubで公開しています。記事には、これらの数値や比較を超える詳細なベンチマーク結果は記載されていません。

シドニー工科大学の研究者は11月2日公開の論文で、検索拡張生成（外部情報を検索して回答を作る手法）の枠組み「TRIO」を提案しました。3つの専門エージェントが反復的に処理を改善し、質問の拡張、検索した根拠の判定、回答の作成をそれぞれ別の目的で最適化します。著者らは、既存の検索拡張生成システムでは不十分な情報を取得し、幻覚を含む回答を生成する場合があると述べています。

質問拡張エージェントは曖昧な質問を明確にし、拡張した質問によって回答の質が向上したかに応じて報酬を受けます。判定エージェントは全員一致の投票で、拡張された質問を「不十分」か「十分」と分類し、その出力を最適化の正解データとして使います。回答エージェントは、動的な照合に基づく報酬とカリキュラム学習（段階的に難しい課題へ進む学習法）によって、根拠の活用と回答精度を高めるよう最適化されます。

著者らによると、TRIOは質問応答ベンチマーク5種の平均Exact Matchで最高値を記録し、Search-R1を含む強力な既存手法を上回りました。Hugging Faceの要約では、未見のPubMedQAで正答率76.6%に達し、4Bおよび8Bの小型モデルでも高い性能を示したとされています。論文は、複数のベンチマーク用データセットでの実験により、最先端手法と比較して有効性を確認したと説明し、コードはGitHubで公開しています。記事には、これらの数値や比較を超える詳細なベンチマーク結果は記載されていません。