Loopie:高性能なMoEループ型トランスフォーマーモデル
HuggingFace2026年7月21日 (火)
- •研究者らが高性能なMoEループ型トランスフォーマーモデル「Loopie」を発表した。
- •20Bパラメータ版は2B、6Bパラメータ版は0.6Bのアクティブパラメータを使用する。
- •Loopieは外部ツールなしで2025年IMOおよびIPhOベンチマークにて金メダル相当の性能を記録した。
Zitian Gao、Yilong Chen、Yihao Xiao、Xinyu Yang、Ran Tao、Joey Zhou、Bryan Daiの各氏は2026年7月17日、高性能なループ型トランスフォーマー(自己注意機構を用いて逐次データを処理するニューラルネットワークアーキテクチャ)である「Loopie」を発表した。本シリーズは2種類のMoE(Mixture-of-Experts)モデルで構成され、20Bパラメータ版では2B、6Bパラメータ版では0.6Bのアクティブパラメータが使用される。ループ構造を採用することで、計算量を増やすことによる精度の向上が頭打ちになりやすいという従来の課題を克服した。
比較試験において、Loopieは同等の計算予算で訓練された既存の30Bパラメータモデルを上回る性能を示した。また、推論能力を強化する新しい学習パイプラインも開発された。その結果、Loopieは外部ツールを使用することなく、2025年IMO(国際数学オリンピック)およびIPhO(国際物理オリンピック)のベンチマークにおいて金メダル水準の成績を達成した。