아주대 연구진, 텍스트 음성 생성 프레임워크 WaveGen 제안

아주대학교 연구진이 11월 10일 공개된 arXiv 논문에서 텍스트를 음성 파형으로 직접 변환하는 프레임워크 WaveGen을 제안했습니다. 이 모델은 디퓨전과 스펙트럼 강제 학습을 사용해 스펙트럼과 파형의 변화 경로를 함께 학습하고, 하나의 모델로 텍스트에서 음성을 생성합니다. 논문은 외부 오디오 코덱, 보코더(음성 파형을 만드는 신경망), 잠재 모델, 정렬 모듈, 자기지도 표현 없이 텍스트 음성 변환에서 최고 성능을 기록했다고 밝혔습니다.

WaveGen은 별도의 지속시간 예측기 없이 모델 내부에서 텍스트와 음성의 정렬을 수행합니다. 설계에는 서로 분리된 디퓨전 헤드와 다중 스케일 스펙트럼 v 손실 학습 목표가 적용됐습니다. 연구진은 매개변수 0.1B~0.6B 규모의 모델을 시험했으며, 하나의 아키텍처와 공개 데이터, 단일 단계 학습을 사용한 결과를 보고했습니다. 지속시간 예측기나 REPA 같은 외부 모듈은 사용하지 않았습니다.

Seed-en 벤치마크에서 WaveGen은 WER 1.47과 SIM 0.75를 기록했습니다. 논문은 Emilia 학습 데이터셋에서도 최고 성능에 도달했다고 밝혔습니다. 연구진은 소스 코드와 체크포인트를 공개했으며, 제출자 메모에는 음성을 4단계로 생성하는 증류 버전 WaveGen-Flash와 Hugging Face 데모 및 모델 페이지 링크가 소개됐습니다.

아주대학교 연구진이 11월 10일 공개된 arXiv 논문에서 텍스트를 음성 파형으로 직접 변환하는 프레임워크 WaveGen을 제안했습니다. 이 모델은 디퓨전과 스펙트럼 강제 학습을 사용해 스펙트럼과 파형의 변화 경로를 함께 학습하고, 하나의 모델로 텍스트에서 음성을 생성합니다. 논문은 외부 오디오 코덱, 보코더(음성 파형을 만드는 신경망), 잠재 모델, 정렬 모듈, 자기지도 표현 없이 텍스트 음성 변환에서 최고 성능을 기록했다고 밝혔습니다.

WaveGen은 별도의 지속시간 예측기 없이 모델 내부에서 텍스트와 음성의 정렬을 수행합니다. 설계에는 서로 분리된 디퓨전 헤드와 다중 스케일 스펙트럼 v 손실 학습 목표가 적용됐습니다. 연구진은 매개변수 0.1B~0.6B 규모의 모델을 시험했으며, 하나의 아키텍처와 공개 데이터, 단일 단계 학습을 사용한 결과를 보고했습니다. 지속시간 예측기나 REPA 같은 외부 모듈은 사용하지 않았습니다.

Seed-en 벤치마크에서 WaveGen은 WER 1.47과 SIM 0.75를 기록했습니다. 논문은 Emilia 학습 데이터셋에서도 최고 성능에 도달했다고 밝혔습니다. 연구진은 소스 코드와 체크포인트를 공개했으며, 제출자 메모에는 음성을 4단계로 생성하는 증류 버전 WaveGen-Flash와 Hugging Face 데모 및 모델 페이지 링크가 소개됐습니다.