北京大学の研究者が、複数人の会話中にリアルタイム音声アシスタントが応答するか、沈黙するか、発話を止めるかを評価するベンチマーク「Duplex-MPE」を発表しました。発話しながら聞き取れる全二重システムを対象とし、従来の評価が主に、発話交代や割り込み、特定の利用者1人との複数回の対話に焦点を当てていた点を補います。

Duplex-MPEには2,000場面があり、それぞれ人間3人または4人とアシスタント1体が登場します。同じ依頼について、明示的な呼びかけ方と暗黙の呼びかけ方を組み合わせています。システムには、文字起こしや発話の区切り情報を与えず、会話音声を連続して入力します。評価するのは、システムが自発的に応答を始めるか、正しく答えるか、適切な場面で沈黙を保つか、人間が依頼を解決した際に発話を止めるかの4項目です。

研究者は、オープンウェイトの音声システム5種、MiniCPM-o 4.5、Moshi、FLM-Audio、Voila、Freeze-Omniを評価しました。MiniCPM-o 4.5は4項目のうち3項目で首位でした。他のシステムには、正確に回答する一方で頻繁に発話するものや、沈黙を保てないものがありました。

文字起こしを使う比較対象のGemini 3.1 Proは、暗黙的な依頼より明示的な依頼に64.3ポイント高い割合で応答しました。一方、対応する統計的検定では、音声システム間の応答率に有意な差は見つかりませんでした。研究者らは、データとコードを12月までに公開できるよう準備中と述べ、プロジェクトページで音声例とベンチマークの詳細を共有しました。

北京大学の研究者が、複数人の会話中にリアルタイム音声アシスタントが応答するか、沈黙するか、発話を止めるかを評価するベンチマーク「Duplex-MPE」を発表しました。発話しながら聞き取れる全二重システムを対象とし、従来の評価が主に、発話交代や割り込み、特定の利用者1人との複数回の対話に焦点を当てていた点を補います。

Duplex-MPEには2,000場面があり、それぞれ人間3人または4人とアシスタント1体が登場します。同じ依頼について、明示的な呼びかけ方と暗黙の呼びかけ方を組み合わせています。システムには、文字起こしや発話の区切り情報を与えず、会話音声を連続して入力します。評価するのは、システムが自発的に応答を始めるか、正しく答えるか、適切な場面で沈黙を保つか、人間が依頼を解決した際に発話を止めるかの4項目です。

研究者は、オープンウェイトの音声システム5種、MiniCPM-o 4.5、Moshi、FLM-Audio、Voila、Freeze-Omniを評価しました。MiniCPM-o 4.5は4項目のうち3項目で首位でした。他のシステムには、正確に回答する一方で頻繁に発話するものや、沈黙を保てないものがありました。

文字起こしを使う比較対象のGemini 3.1 Proは、暗黙的な依頼より明示的な依頼に64.3ポイント高い割合で応答しました。一方、対応する統計的検定では、音声システム間の応答率に有意な差は見つかりませんでした。研究者らは、データとコードを12月までに公開できるよう準備中と述べ、プロジェクトページで音声例とベンチマークの詳細を共有しました。