Artificial Analysis, 음성 AI 성능 평가 AA-WER 벤치마크 공개
- •Artificial Analysis가 STT 모델의 지연 시간과 전사 정확도를 측정하는 AA-WER 스트리밍 벤치마크를 출시했다.
- •Cartesia Ink-2와 ElevenLabs Scribe v2 Realtime이 최종 및 부분 전사 성능에서 상위권에 올랐다.
- •DeepgramAI Flux는 부분 전사 이벤트 반환 시 0.019초라는 가장 빠른 기록을 달성했다.
Artificial Analysis는 2026년 6월 2일, 스트리밍 음성 인식(STT) 모델의 정확도와 지연 시간을 평가하기 위해 AA-WER 스트리밍 벤치마크를 출시했다. 이 벤치마크는 AA-AgentTalk, Earnings22-Cleaned-AA, VoxPopuli-Cleaned-AA 등 세 가지 데이터셋을 사용하여 총 8시간 분량의 오디오로 모델 성능을 테스트한다. 평가는 최종 결정된 전사본의 단어 오류율(WER)과 지연 시간을 측정하는 '첫 번째 최종 전사'와, 음성 감지 후 첫 번째 전사 이벤트 반환을 측정하는 '첫 번째 부분 전사' 두 가지 지표를 중심으로 이루어진다.
최종 정확도 부문에서는 Cartesia Ink-2가 지연 시간 0.21초에 단어 오류율 3.59%를 기록했고, ElevenLabs Scribe v2 Realtime이 지연 시간 0.14초에 단어 오류율 3.64%로 뒤를 이었다. 첫 번째 부분 정확도에서는 ElevenLabs Scribe v2 Realtime이 지연 시간 0.13초, 단어 오류율 3.65%로 선두를 차지했다. DeepgramAI Flux는 가장 빠른 속도를 기록하며 최종 출력에서 0.020초, 부분 출력에서 0.019초의 지연 시간을 나타냈으며, 두 경우 모두 단어 오류율은 7.36%였다.
데이터셋에 따라 성능 차이가 나타나며, 모든 지표에서 우위를 점한 단일 모델은 없었다. ElevenLabs Scribe v2 Realtime은 AA-AgentTalk에서, AssemblyAI U3 Realtime Pro는 VoxPopuli 최종 전사에서, Google Chirp 3 Streaming은 부분 전사에서 각각 강세를 보였다. 전반적으로 최종 전사의 정확도가 첫 번째 부분 전사보다 약 0.7pp 높지만, 대부분 모델이 초기 단계에서 높은 정확도를 보인다. 다만 Voxtral Mini Transcribe Realtime은 최종 출력을 기다릴 경우 단어 오류율이 9.6%에서 5.3%로 개선되는 특징을 보였다. 테스트된 모델의 가격은 1,000분당 2달러에서 17달러 수준으로, Cartesia와 ElevenLabs가 가격 대비 성능 면에서 경쟁력을 갖췄다.
가장 빠르고 정확한 AI 소식, 이메일로 받아보세요
