NVIDIA, 음성 보정 AI RE-USE 공개

NVIDIA는 2026년 10월 22일 녹음 음성의 잡음, 반향, 음성 깨짐 등을 보정하는 NVIDIA NemotronLabs RE-USE를 공개했습니다. 약 960만 개 매개변수를 갖춘 소형 모델로, 다국어 음성 처리를 염두에 두고 개발됐습니다. 녹음 음질 개선과 음성 생성 AI 학습 데이터 정비에 쓸 수 있으며 상업적 이용도 가능합니다.

RE-USE는 원본 음성에 충실하면서 여러 유형의 음질 저하를 폭넓게 보정하는 기술인 음성 보정 모델입니다. 배경 잡음과 실내 반향뿐 아니라 입력 과다로 생긴 음성 깨짐, 주파수 대역 제한, 압축 손상, 통신 중 패킷 손실, 저품질 마이크로 인한 음질 저하를 보정합니다. 입력 샘플링 주파수는 8, 16, 22.05, 24, 32, 44.1, 48kHz를 지원하며, 입출력은 모노 WAV 형식입니다.

여러 사람의 목소리가 겹치는 음성에서는 주요 화자의 목소리를 남기고 다른 화자의 목소리는 억제하도록 학습됐습니다. 대화에 참여한 모든 사람의 목소리를 그대로 보존하도록 설계된 모델은 아닙니다. NVIDIA는 같은 날 보정 과정에서 웃음소리를 더 잘 보존하는 NVIDIA NemotronLabs RE-USE-laughter도 공개했으며, 이 모델 역시 약 960만 개 매개변수를 갖췄습니다.

두 모델은 OpenMDW-1.1 라이선스로 제공되며, NVIDIA는 상업적 이용이 가능하다고 명시했습니다. 예상 용도는 콘텐츠 제작자의 녹음 음질 개선과 음성 합성 및 Speech LLM 학습 데이터 세트의 품질 개선입니다. 앞서 나온 RE-USE는 2026년 3월 18일 공개됐으며, 연구개발에만 쓸 수 있는 비상업 라이선스가 적용됐습니다. 기존 모델의 공개 페이지도 이번 NemotronLabs 버전을 상업적 이용용으로 안내합니다.

모델 가중치와 추론 코드는 Hugging Face에서 공개됐으며, 브라우저에서 음성을 올리거나 녹음해 시험할 수 있는 데모도 제공됩니다. 데모에서는 보정 전후 음성을 비교해 듣고, 음의 주파수 성분을 시각화한 그래프인 스펙트로그램으로 변화를 확인할 수 있습니다.

NVIDIA는 2026년 10월 22일 녹음 음성의 잡음, 반향, 음성 깨짐 등을 보정하는 NVIDIA NemotronLabs RE-USE를 공개했습니다. 약 960만 개 매개변수를 갖춘 소형 모델로, 다국어 음성 처리를 염두에 두고 개발됐습니다. 녹음 음질 개선과 음성 생성 AI 학습 데이터 정비에 쓸 수 있으며 상업적 이용도 가능합니다.

RE-USE는 원본 음성에 충실하면서 여러 유형의 음질 저하를 폭넓게 보정하는 기술인 음성 보정 모델입니다. 배경 잡음과 실내 반향뿐 아니라 입력 과다로 생긴 음성 깨짐, 주파수 대역 제한, 압축 손상, 통신 중 패킷 손실, 저품질 마이크로 인한 음질 저하를 보정합니다. 입력 샘플링 주파수는 8, 16, 22.05, 24, 32, 44.1, 48kHz를 지원하며, 입출력은 모노 WAV 형식입니다.

여러 사람의 목소리가 겹치는 음성에서는 주요 화자의 목소리를 남기고 다른 화자의 목소리는 억제하도록 학습됐습니다. 대화에 참여한 모든 사람의 목소리를 그대로 보존하도록 설계된 모델은 아닙니다. NVIDIA는 같은 날 보정 과정에서 웃음소리를 더 잘 보존하는 NVIDIA NemotronLabs RE-USE-laughter도 공개했으며, 이 모델 역시 약 960만 개 매개변수를 갖췄습니다.

두 모델은 OpenMDW-1.1 라이선스로 제공되며, NVIDIA는 상업적 이용이 가능하다고 명시했습니다. 예상 용도는 콘텐츠 제작자의 녹음 음질 개선과 음성 합성 및 Speech LLM 학습 데이터 세트의 품질 개선입니다. 앞서 나온 RE-USE는 2026년 3월 18일 공개됐으며, 연구개발에만 쓸 수 있는 비상업 라이선스가 적용됐습니다. 기존 모델의 공개 페이지도 이번 NemotronLabs 버전을 상업적 이용용으로 안내합니다.

모델 가중치와 추론 코드는 Hugging Face에서 공개됐으며, 브라우저에서 음성을 올리거나 녹음해 시험할 수 있는 데모도 제공됩니다. 데모에서는 보정 전후 음성을 비교해 듣고, 음의 주파수 성분을 시각화한 그래프인 스펙트로그램으로 변화를 확인할 수 있습니다.