Meta 연구진, 음성 기반 언어모델 GSLM2 발표

Meta 연구진은 2026년 11월 4일 음성만으로 언어 구조를 학습하는 음성 언어모델의 성능을 개선한 GSLM2를 발표했습니다. 연구진은 이러한 모델이 능력과 데이터 확장 효율에서 텍스트 기반 언어모델에 뒤처져 왔다고 설명했습니다. 팀은 그 원인으로 기존 음성 단위의 언어적 품질이 제한적이라는 점과, 시스템이 단일 이산 단위 스트림에 의존한다는 점을 꼽았습니다. 다중 코드북은 음향 특성을 부호화하는 데 흔히 쓰이지만, 음성의 의미를 표현하는 데에는 거의 쓰이지 않았습니다.

GSLM2는 여러 추상화 수준에서 상호 보완적인 음성 특성을 학습합니다. 자기지도 학습과 미분 가능한 예측 헤드를 사용하는 SpidR 2.0 인코더가 이 수준들에 걸쳐 이산 단위를 생성합니다. 다중 스트림 음성 언어모델은 공유 시간 백본, 스트림별 예측기, 스트림 간 의존성을 포착하는 자기회귀 헤드로 이 단위들을 함께 모델링합니다.

Meta에 따르면 최대 600만 시간의 학습 데이터와 최대 65억 파라미터 모델로 실험한 결과, GSLM2는 언어 역량을 꾸준히 향상시켰고 데이터 확장에서도 더 효율적으로 성장했습니다. 낭독 음성과 대화 음성 모두에서 sWuggy·sBLIMP·tSC 세 과제의 텍스트 기반 언어모델과의 격차를 약 두 자릿수 배율만큼 줄였으며, 세 과제 모두에서 경쟁하는 음성-텍스트 시스템을 앞섰습니다. 연구진은 학습 코드와 모델 체크포인트를 GitHub에 오픈소스로 공개했으며, 연구는 arXiv에 게재됐습니다.

논문에는 Yosuke Higuchi, Tom Fizycki, Mahi Luthra, Charles-Éric Saint-James, Azeez Syed, Angel Villar Corrales, Mido Assran, Nicolas Ballas, Jiayi Shen, Dongyan Lin, Phillip Rust, Surya Parimi, Vanessa Stark, Alexandre Allauzen, Balázs Kegl, Juan Pino, Emmanuel Dupoux가 저자로 이름을 올렸습니다. Meta 연구 페이지는 주제를 Speech & Audio로 분류하고 있습니다.

Meta 연구진은 2026년 11월 4일 음성만으로 언어 구조를 학습하는 음성 언어모델의 성능을 개선한 GSLM2를 발표했습니다. 연구진은 이러한 모델이 능력과 데이터 확장 효율에서 텍스트 기반 언어모델에 뒤처져 왔다고 설명했습니다. 팀은 그 원인으로 기존 음성 단위의 언어적 품질이 제한적이라는 점과, 시스템이 단일 이산 단위 스트림에 의존한다는 점을 꼽았습니다. 다중 코드북은 음향 특성을 부호화하는 데 흔히 쓰이지만, 음성의 의미를 표현하는 데에는 거의 쓰이지 않았습니다.

GSLM2는 여러 추상화 수준에서 상호 보완적인 음성 특성을 학습합니다. 자기지도 학습과 미분 가능한 예측 헤드를 사용하는 SpidR 2.0 인코더가 이 수준들에 걸쳐 이산 단위를 생성합니다. 다중 스트림 음성 언어모델은 공유 시간 백본, 스트림별 예측기, 스트림 간 의존성을 포착하는 자기회귀 헤드로 이 단위들을 함께 모델링합니다.

Meta에 따르면 최대 600만 시간의 학습 데이터와 최대 65억 파라미터 모델로 실험한 결과, GSLM2는 언어 역량을 꾸준히 향상시켰고 데이터 확장에서도 더 효율적으로 성장했습니다. 낭독 음성과 대화 음성 모두에서 sWuggy·sBLIMP·tSC 세 과제의 텍스트 기반 언어모델과의 격차를 약 두 자릿수 배율만큼 줄였으며, 세 과제 모두에서 경쟁하는 음성-텍스트 시스템을 앞섰습니다. 연구진은 학습 코드와 모델 체크포인트를 GitHub에 오픈소스로 공개했으며, 연구는 arXiv에 게재됐습니다.

논문에는 Yosuke Higuchi, Tom Fizycki, Mahi Luthra, Charles-Éric Saint-James, Azeez Syed, Angel Villar Corrales, Mido Assran, Nicolas Ballas, Jiayi Shen, Dongyan Lin, Phillip Rust, Surya Parimi, Vanessa Stark, Alexandre Allauzen, Balázs Kegl, Juan Pino, Emmanuel Dupoux가 저자로 이름을 올렸습니다. Meta 연구 페이지는 주제를 Speech & Audio로 분류하고 있습니다.