ドイツの研究コンソーシアムがオープンな300億パラメータモデル「Soofi S」を公開
- •ドイツの研究コンソーシアムが、300億パラメータ規模のオープンなハイブリッド言語モデル「Soofi S」を公開した。
- •同モデルは32億個のアクティブパラメータを用い、ドイツ語および英語のベンチマークで最高水準の性能を達成している。
- •ハイブリッドアーキテクチャにより、最大256,000トークンという長文脈において高いスループットを実現した。
ドイツの研究コンソーシアムは、ミュンヘンにあるドイツテレコムの産業用AIクラウドで学習させたオープンソース言語モデル「Soofi S」を公開した。ドイツAI協会（KI Bundesverband）が調整し、ドイツ連邦経済気候保護省から資金提供を受けたこのプロジェクトは、MambaとTransformerを組み合わせたハイブリッドアーキテクチャを採用している。モデルの総パラメータ数は316億個だが、トークンあたりのアクティブパラメータ数は32億個に抑えられており、30億パラメータ規模のモデルと同等の計算コストで動作する。学習は2026年3月から5月にかけて行われ、512基のNvidia B200を使用し、約253,000GPU時間を消費した。
Soofi Sは、KVキャッシュを全52層中6層のみに制限することで、長文脈処理における高い効率を実現している。コンテキスト長40,000トークン、32の並列リクエストという条件下では、140億から240億パラメータ規模の密なモデルと比較して、GPUあたり約8倍のトークン生成速度を誇る。スループットは4,000から256,000トークンまで安定しており、学習には3段階で計27兆トークンが使用された。特にドイツ語データに重点が置かれ、学習データのドイツ語比率は第1段階の7.2%から第2段階で15.3%まで引き上げられた。
性能面では、完全オープンソースであるOLMo 3 32BやApertus 70Bをドイツ語および英語のベンチマーク総合結果で上回る。具体的には、HumanEvalで73.8%、MBPPで70.2%、ドイツ語版MBPPで84.2%のスコアを記録した。ドイツ固有の知識テスト「INCLUDE-DE」では61.2ポイントで首位に並んだが、Minerva MATH-DEでは56ポイントにとどまり、RULERベンチマークでは32,000トークンを超えると単語抽出タスクに課題が見られる。コンソーシアムは学習データとコードの詳細を公開し、オープンソースイニシアティブが定める「Open Source AI Definition 1.0」への準拠を目指したが、商用ライセンスのGeniosデータが含まれているため、より厳格な「完全自由」という定義には適合していない。