Meta、音声から言語構造を学習するGSLM2音声モデルを発表

Metaの研究者は2026年11月4日、音声のみから言語構造を学習する音声言語モデルを改善するGSLM2を発表しました。研究チームによると、こうした音声モデルは能力やデータ拡張の効率でテキストベースの言語モデルに遅れをとってきました。チームは、その原因として既存の音声ユニットの言語的品質が限られていること、そして単一ストリームの離散ユニットに依存していることの2点を挙げています。

GSLM2は複数の抽象度レベルで音声の補完的な特性を学習します。SpidR 2.0エンコーダーは自己教師あり学習と微分可能な予測ヘッドを用い、各レベルの離散ユニットを生成します。マルチストリーム音声言語モデルは、共有の時間的バックボーン、ストリームごとの専用予測器、ストリーム間の依存関係を捉える自己回帰ヘッドを使って、これらのユニットを同時にモデル化します。

Metaによると、最大6M時間の学習セットと最大6.5Bパラメータのモデルで、GSLM2は言語能力を一貫して向上させ、データに対してより効率的に拡張しました。読み上げ音声と会話音声では、sWuggy、sBLIMP、tSCにおいてテキストベースの言語モデルとの差を約2桁縮小し、3つのタスクすべてで競合する音声・テキストシステムを上回りました。研究者は学習コードとモデルのチェックポイントをGitHubでオープンソースとして公開し、論文はarXivに掲載されています。

論文の著者には、Yosuke Higuchi、Tom Fizycki、Mahi Luthra、Charles-Éric Saint-James、Azeez Syed、Angel Villar Corrales、Mido Assran、Nicolas Ballas、Jiayi Shen、Dongyan Lin、Phillip Rust、Surya Parimi、Vanessa Stark、Alexandre Allauzen、Balázs Kegl、Juan Pino、Emmanuel Dupouxが名を連ねています。Metaの研究ページでは、トピックはSpeech & Audioとされています。

Metaの研究者は2026年11月4日、音声のみから言語構造を学習する音声言語モデルを改善するGSLM2を発表しました。研究チームによると、こうした音声モデルは能力やデータ拡張の効率でテキストベースの言語モデルに遅れをとってきました。チームは、その原因として既存の音声ユニットの言語的品質が限られていること、そして単一ストリームの離散ユニットに依存していることの2点を挙げています。

GSLM2は複数の抽象度レベルで音声の補完的な特性を学習します。SpidR 2.0エンコーダーは自己教師あり学習と微分可能な予測ヘッドを用い、各レベルの離散ユニットを生成します。マルチストリーム音声言語モデルは、共有の時間的バックボーン、ストリームごとの専用予測器、ストリーム間の依存関係を捉える自己回帰ヘッドを使って、これらのユニットを同時にモデル化します。

Metaによると、最大6M時間の学習セットと最大6.5Bパラメータのモデルで、GSLM2は言語能力を一貫して向上させ、データに対してより効率的に拡張しました。読み上げ音声と会話音声では、sWuggy、sBLIMP、tSCにおいてテキストベースの言語モデルとの差を約2桁縮小し、3つのタスクすべてで競合する音声・テキストシステムを上回りました。研究者は学習コードとモデルのチェックポイントをGitHubでオープンソースとして公開し、論文はarXivに掲載されています。

論文の著者には、Yosuke Higuchi、Tom Fizycki、Mahi Luthra、Charles-Éric Saint-James、Azeez Syed、Angel Villar Corrales、Mido Assran、Nicolas Ballas、Jiayi Shen、Dongyan Lin、Phillip Rust、Surya Parimi、Vanessa Stark、Alexandre Allauzen、Balázs Kegl、Juan Pino、Emmanuel Dupouxが名を連ねています。Metaの研究ページでは、トピックはSpeech & Audioとされています。