Qwen-UI-Agent、実世界GUIに照準
- •TongyiLabの論文が、モバイル、コンピューター操作、Web、DeepSearch環境向けQwen-UI-Agentを発表した
- •Online RLが100ターン超の軌跡を学習し、10,000超の並行環境で訓練を進める
- •Qwen-UI-AgentはMobileWorld 82.1%、MobileWorld-Real 92.2%、AndroidDaily 97.5%を報告した
TongyiLabの研究者は、基盤GUIエージェントに関する技術報告書「Qwen-UI-Agent」をHugging Face Papersで公開した。掲載された公開日はJul 30、投稿者はQuyu Kongで、投稿日はJul 31だった。論文は、GUIエージェントが既存のデジタル機器上で汎用的な実行役になり得るとし、Qwen-UI-Agentをモバイル、コンピューター操作、Web、DeepSearch環境での実利用向けに設計したとしている。
Qwen-UI-Agentは、多様なサンドボックス環境と大規模な実機モバイル実行環境を組み合わせる。統一されたアクション空間はGUI操作とCLI実行を交互に扱い、1回のモデルターンでバッチ化されたアクションを生成できる。つまり、エージェントは1ターンに1手ずつ動くのではなく、複数の画面操作やコマンドライン手順をまとめて計画できる。
報告書は、AutoResearch型のデータ・フライホイールを説明している。エージェントがタスクと環境を構築し、失敗を診断し、後続の反復を計画する仕組みだ。Online RL(試行と報酬更新で学習する手法)は100ターンを超える軌跡での訓練を支え、10,000超の並行環境がロールアウトを高速化する。軽量なハーネス層は、モバイルとコンピューターの両設定で、プロアクティブなサービス開始と状態を保持するワークフローを支援する。
評価では、Qwen-UI-Agentはモバイル操作ベンチマークでstate-of-the-art性能を示し、Opus 4.8、Gemini 3.1 Pro、GPT-5.6 Solを含むフロンティアモデルに対して、コンピューター操作とブラウザー操作のタスクでも競争力を保った。報告されたスコアはMobileWorld 82.1%、MobileWorld-Real 92.2%、AndroidDaily 97.5%、OSWorld-Verified 79.5%、OSWorld-v2のpartial-progress score 40.0%、WebArena 73.6%、ScreenSpot-Pro 81.5%だった。Hugging Faceページでは、177 upvotesで「#2 Paper of the day」と表示された。