AA-WERストリーミングベンチマークが音声AIの性能を評価

2026年6月3日 水曜日
  • •Artificial Analysisは音声認識モデルのレイテンシと精度を測定するAA-WERストリーミングベンチマークを公開した。
  • •Cartesia Ink-2とElevenLabs Scribe v2 Realtimeが最終および部分文字起こしのベンチマークで高い性能を示した。
  • •DeepgramAI Fluxは部分イベントの返却で0.019秒のレイテンシを記録し、最速の文字起こし時間を達成した。

Artificial Analysisは2026年6月2日、ストリーミング音声認識(STT)モデルの精度とレイテンシを評価するAA-WERストリーミングベンチマークを公開した。本ベンチマークでは、AA-AgentTalk、Earnings22-Cleaned-AA、VoxPopuli-Cleaned-AAの3つのデータセットを用い、計8時間の音声データで各モデルを試験する。評価指標は「最終文字起こし(First Final Transcription)」における単語誤り率とレイテンシ、および「部分文字起こし(First Partial Transcription)」における発話検出後の最初のイベント返却速度の2点である。

最終精度のカテゴリでは、Cartesia Ink-2が単語誤り率3.59%、レイテンシ0.21秒を記録し、続いてElevenLabs Scribe v2 Realtimeが単語誤り率3.64%、レイテンシ0.14秒で続いた。部分精度の評価では、ElevenLabs Scribe v2 Realtimeが単語誤り率3.65%、レイテンシ0.13秒で首位となった。DeepgramAI Fluxは最終出力でレイテンシ0.020秒、部分出力で0.019秒を記録し、いずれも単語誤り率7.36%で最速の結果を残した。

性能はデータセットごとに異なり、すべての指標で首位を占めるモデルは存在しない。ElevenLabs Scribe v2 RealtimeはAA-AgentTalkセットで優位に立つ一方、VoxPopuliの最終文字起こしではAssemblyAI U3 Realtime Proが、部分文字起こしではGoogle Chirp 3 Streamingがそれぞれ先行する。平均的に最終文字起こしの精度は部分文字起こしより約0.7ポイント高いが、多くのモデルは早期に最高精度に達する。例外としてVoxtral Mini Transcribe Realtimeは、最終出力を待つことで単語誤り率が9.6%から5.3%へ改善した。試験対象モデルの価格は1,000分あたり2ドルから17ドルの範囲であり、CartesiaとElevenLabsは価格対性能比で優位性を示している。

AIBニュースレターを購読

最も速く正確なAIニュースをメールでいかがですか?

この記事に関連するブログ