AI 비교하기AI 사용하기AI 최신정보AI 커뮤니티
私たちのビジョン利用規約個人情報保護方針FAQお問い合わせ

Zero RLを1兆パラメータへ拡張:推論能力の向上

Zero RLを1兆パラメータへ拡張:推論能力の向上

HuggingFace
2026年7月17日 (金)
  • •研究チームはZero RLを1兆パラメータまで拡張し、モデルの推論能力とサンプル効率を向上させた。
  • •訓練パイプラインには、クリップされた重要度サンプリングや混合精度制御などの最適化手法が導入されている。
  • •1兆パラメータ規模で訓練されたモデルは、自己検証や並列推論といった高度な挙動を自発的に獲得した。
  • •研究チームはZero RLを1兆パラメータまで拡張し、モデルの推論能力とサンプル効率を向上させた。
  • •訓練パイプラインには、クリップされた重要度サンプリングや混合精度制御などの最適化手法が導入されている。
  • •1兆パラメータ規模で訓練されたモデルは、自己検証や並列推論といった高度な挙動を自発的に獲得した。

研究者は、Zero RL(人間が注釈を付けたデータなしで、検証可能な報酬に基づいて学習する強化学習)を1兆パラメータ規模にまで拡張する有効性を実証し、モデルの推論能力とサンプル効率において顕著な向上を明らかにした。Xinyu Tangら研究チームは、読みやすさの低下やトークンの冗長性といったスケーリングに伴う課題に対し、専用の訓練パイプラインを実装して対応した。このパイプラインでは、クリップされた重要度サンプリング、訓練・推論比率の修正、および混合精度制御といった主要な最適化手法を活用し、大規模なスケールでの安定性を維持している。

Ring-2.5-1T-Zeroモデルを用いた実験により、3つの主要なスケーリング効果が特定された。第一に、1兆パラメータへの拡張が性能の限界値とサンプル効率の両方を向上させること。第二に、学習プロセスが初期の発見フェーズと、それに続くシャープニング(洗練)フェーズの2段階で進行すること。第三に、モデルが自己検証や並列推論、構造化フォーマットといった高度な認知行動を自発的に獲得し、手動のヒューリスティックが不要になることである。

本研究では7つの数学ベンチマークでモデルを評価し、高い競争力を確認した。最終的な回答の正確性だけでなく、研究チームはChain-of-Thought(解に至る過程を説明する推論ステップ)の質を、理解可能性、再現性、効率性の3つの次元で評価する構造化フレームワークを導入した。結果として、1兆パラメータという規模が、簡潔で構造化された推論過程を生成する上で明確な利点を提供し、大規模モデルがいかにして創発的能力を発展させるかについて新たな洞察をもたらした。

研究者は、Zero RL(人間が注釈を付けたデータなしで、検証可能な報酬に基づいて学習する強化学習)を1兆パラメータ規模にまで拡張する有効性を実証し、モデルの推論能力とサンプル効率において顕著な向上を明らかにした。Xinyu Tangら研究チームは、読みやすさの低下やトークンの冗長性といったスケーリングに伴う課題に対し、専用の訓練パイプラインを実装して対応した。このパイプラインでは、クリップされた重要度サンプリング、訓練・推論比率の修正、および混合精度制御といった主要な最適化手法を活用し、大規模なスケールでの安定性を維持している。

Ring-2.5-1T-Zeroモデルを用いた実験により、3つの主要なスケーリング効果が特定された。第一に、1兆パラメータへの拡張が性能の限界値とサンプル効率の両方を向上させること。第二に、学習プロセスが初期の発見フェーズと、それに続くシャープニング(洗練)フェーズの2段階で進行すること。第三に、モデルが自己検証や並列推論、構造化フォーマットといった高度な認知行動を自発的に獲得し、手動のヒューリスティックが不要になることである。

本研究では7つの数学ベンチマークでモデルを評価し、高い競争力を確認した。最終的な回答の正確性だけでなく、研究チームはChain-of-Thought(解に至る過程を説明する推論ステップ)の質を、理解可能性、再現性、効率性の3つの次元で評価する構造化フレームワークを導入した。結果として、1兆パラメータという規模が、簡潔で構造化された推論過程を生成する上で明確な利点を提供し、大規模モデルがいかにして創発的能力を発展させるかについて新たな洞察をもたらした。

原文(英語)を読む·2026年7月17日
#zero rl#reinforcement learning#scaling#one trillion parameters#chain of thought#emergent behavior#mathematical reasoning