Baseten, Qwen3-ASR 배치 전사 속도 최대 7배 개선

Baseten은 Alibaba의 오픈 가중치 모델 Qwen3-ASR 1.7B를 배치 전사용으로 최적화해, RTX PRO 6000 한 대에서 요청 64건을 동시에 처리할 때 수정하지 않은 vLLM보다 초당 오디오 처리량을 최대 7배 높였다고 밝혔습니다. 1시간 분량 파일에서도 실시간의 3,128배 속도를 유지하며 오디오 1시간당 0.0013달러가 들고, 단어 오류율에는 유의미한 변화가 없었다고 설명했습니다. 최적화된 배포 환경은 Baseten Model Library의 기본 설정이며, OpenAI 호환 전사 클라이언트로 호출할 수 있습니다.

Qwen3-ASR 1.7B는 30개가 넘는 언어와 중국어 방언 22종을 지원합니다. Baseten은 Hugging Face의 Open ASR Leaderboard에서 평균 단어 오류율 5.4%를 기록해, 정확도와 모델 크기의 균형이 우수한 모델들이 위치하는 파레토 전선에 올랐다고 보고했습니다. 점수 5.40%는 NVIDIA Nemotron 3.5 Transcribe 30B-A4B의 5.33%보다 0.07%포인트 높았으며, Qwen 모델은 해당 모델보다 훨씬 작습니다.

Baseten은 vLLM의 파이썬 기반 오디오 디코딩을 torchcodec으로 바꿨습니다. torchcodec은 파일을 FFmpeg로 보내 디코딩과 리샘플링을 한 번의 네이티브 호출로 처리합니다. 1시간 파일의 전처리는 1초보다 훨씬 짧게 걸립니다. 1분 파일 기준 기존 디코더는 단독 처리에 76밀리초, 파일 8개 동시 처리에 2,195밀리초가 걸렸지만, 교체 후 각각 45밀리초와 48밀리초로 줄었습니다. 시간 구간별 병렬 처리로 긴 녹음 파일도 비트 단위까지 정확하게 이어 붙일 수 있습니다.

동시 요청이 많은 상황에서 Baseten은 어텐션의 키·값 캐시를 FP8로 저장해 단계마다 읽는 데이터를 절반으로 줄이고, GPU 메모리에 저장할 수 있는 시퀀스 수를 2배로 늘렸습니다. vLLM의 기본 FlashAttention-2 백엔드는 RTX PRO 6000에서 FP8 캐시를 지원하지 않아 FlashInfer 커널로 전환했고, 어텐션 커널의 메모리 사용률은 50%에서 80%로 높아졌습니다. 가중치 양자화는 Baseten의 테스트에서 단어 오류율을 높였기 때문에 모델 가중치는 BF16으로 유지했습니다.

Baseten은 작업을 준비할 때 GPU가 시퀀스 길이와 클립 길이를 돌려보낼 때까지 기다리지 않도록 해당 값의 CPU 복사본도 보관했습니다. 부하가 걸린 상황에서 GPU 이용률은 86%에서 97%로 상승했습니다. API 서버 프로세스 4개와 2배로 늘린 전처리 스레드 풀을 사용해, 동시 요청 64건에서도 디코딩과 특징 추출이 GPU 처리 속도를 따라가도록 했습니다.

Baseten 테스트에서 10초 클립의 처리량은 실시간 대비 149배에서 602배로 올라 4.0배 향상됐습니다. 30초 클립은 346배에서 1,358배(3.9배), 1분 클립은 358배에서 1,861배(5.2배), 5분 클립은 380배에서 2,645배(7.0배)로 늘었습니다. 수정하지 않은 vLLM은 30분 또는 1시간 클립을 단일 요청으로 처리하지 못했지만, 최적화된 구성은 동시 요청 16건에서 각각 2,688배와 3,128배의 실시간 처리 속도를 기록했습니다.

5분 클립의 지연 시간은 단일 요청에서 5.1초에서 1.5초로 줄었고, 동시 요청 64건에서는 50.4초에서 7.3초로 줄어 6.9배 단축됐습니다. Baseten은 오디오 1시간당 배포 비용을 0.0013달러로 추산했습니다. 이는 같은 모델을 수정하지 않은 vLLM으로 운영할 때의 0.011달러, 인기 있는 비공개 가중치 제공업체들의 0.21~0.36달러와 비교해 약 277배 낮은 비용입니다. 추산에는 전용 RTX PRO 6000에 대한 Baseten의 정가와 각 제공업체의 대표 배치 모델에 공개된 종량제 요금이 적용됐습니다.

Baseten은 Alibaba의 오픈 가중치 모델 Qwen3-ASR 1.7B를 배치 전사용으로 최적화해, RTX PRO 6000 한 대에서 요청 64건을 동시에 처리할 때 수정하지 않은 vLLM보다 초당 오디오 처리량을 최대 7배 높였다고 밝혔습니다. 1시간 분량 파일에서도 실시간의 3,128배 속도를 유지하며 오디오 1시간당 0.0013달러가 들고, 단어 오류율에는 유의미한 변화가 없었다고 설명했습니다. 최적화된 배포 환경은 Baseten Model Library의 기본 설정이며, OpenAI 호환 전사 클라이언트로 호출할 수 있습니다.

Qwen3-ASR 1.7B는 30개가 넘는 언어와 중국어 방언 22종을 지원합니다. Baseten은 Hugging Face의 Open ASR Leaderboard에서 평균 단어 오류율 5.4%를 기록해, 정확도와 모델 크기의 균형이 우수한 모델들이 위치하는 파레토 전선에 올랐다고 보고했습니다. 점수 5.40%는 NVIDIA Nemotron 3.5 Transcribe 30B-A4B의 5.33%보다 0.07%포인트 높았으며, Qwen 모델은 해당 모델보다 훨씬 작습니다.

Baseten은 vLLM의 파이썬 기반 오디오 디코딩을 torchcodec으로 바꿨습니다. torchcodec은 파일을 FFmpeg로 보내 디코딩과 리샘플링을 한 번의 네이티브 호출로 처리합니다. 1시간 파일의 전처리는 1초보다 훨씬 짧게 걸립니다. 1분 파일 기준 기존 디코더는 단독 처리에 76밀리초, 파일 8개 동시 처리에 2,195밀리초가 걸렸지만, 교체 후 각각 45밀리초와 48밀리초로 줄었습니다. 시간 구간별 병렬 처리로 긴 녹음 파일도 비트 단위까지 정확하게 이어 붙일 수 있습니다.

동시 요청이 많은 상황에서 Baseten은 어텐션의 키·값 캐시를 FP8로 저장해 단계마다 읽는 데이터를 절반으로 줄이고, GPU 메모리에 저장할 수 있는 시퀀스 수를 2배로 늘렸습니다. vLLM의 기본 FlashAttention-2 백엔드는 RTX PRO 6000에서 FP8 캐시를 지원하지 않아 FlashInfer 커널로 전환했고, 어텐션 커널의 메모리 사용률은 50%에서 80%로 높아졌습니다. 가중치 양자화는 Baseten의 테스트에서 단어 오류율을 높였기 때문에 모델 가중치는 BF16으로 유지했습니다.

Baseten은 작업을 준비할 때 GPU가 시퀀스 길이와 클립 길이를 돌려보낼 때까지 기다리지 않도록 해당 값의 CPU 복사본도 보관했습니다. 부하가 걸린 상황에서 GPU 이용률은 86%에서 97%로 상승했습니다. API 서버 프로세스 4개와 2배로 늘린 전처리 스레드 풀을 사용해, 동시 요청 64건에서도 디코딩과 특징 추출이 GPU 처리 속도를 따라가도록 했습니다.

Baseten 테스트에서 10초 클립의 처리량은 실시간 대비 149배에서 602배로 올라 4.0배 향상됐습니다. 30초 클립은 346배에서 1,358배(3.9배), 1분 클립은 358배에서 1,861배(5.2배), 5분 클립은 380배에서 2,645배(7.0배)로 늘었습니다. 수정하지 않은 vLLM은 30분 또는 1시간 클립을 단일 요청으로 처리하지 못했지만, 최적화된 구성은 동시 요청 16건에서 각각 2,688배와 3,128배의 실시간 처리 속도를 기록했습니다.

5분 클립의 지연 시간은 단일 요청에서 5.1초에서 1.5초로 줄었고, 동시 요청 64건에서는 50.4초에서 7.3초로 줄어 6.9배 단축됐습니다. Baseten은 오디오 1시간당 배포 비용을 0.0013달러로 추산했습니다. 이는 같은 모델을 수정하지 않은 vLLM으로 운영할 때의 0.011달러, 인기 있는 비공개 가중치 제공업체들의 0.21~0.36달러와 비교해 약 277배 낮은 비용입니다. 추산에는 전용 RTX PRO 6000에 대한 Baseten의 정가와 각 제공업체의 대표 배치 모델에 공개된 종량제 요금이 적용됐습니다.