Ricursive、Ripple-65B Previewを公開

Ricursive Intelligenceは汎用オープンウェイト言語モデル「Ripple-65B Preview」を公開し、エージェント型コーディングで米国のオープンウェイトモデルとして最高水準を達成したと発表しました。同社によると、自社開発モデルがAIチップ設計プラットフォームを支えており、Rippleはゼロから学習させました。研究開発全体の費用は3,200万ドルで、事前学習に12兆トークンを使い、最大100万トークンのコンテキスト長に対応します。TerminalBench 2.1では80.52を記録し、Reflection Beam 501Bの80.1、Meta Muse Spark Open 816Bの76.4、Thinking Machines Inkling 975Bの63.8、NVIDIA Nemotron 3 Ultra 550Bの56.4を上回ったとしています。

Ricursiveによると、3,200万ドルには事前学習の段階設計、データの混合、評価、デバッグ、合成データ生成、事後学習手法、最終学習が含まれます。同社の推定では、これは従来のオープンウェイト型エージェント・コーディングの首位モデルの費用の10分の1です。費用比較の背景として、サム・アルトマンが2023年にGPT-4の学習費用は1億ドルを超えたと述べたこと、ダリオ・アモデイが翌年、最先端モデルの学習費用は10億ドルに達する可能性があり、事前学習費用は2026年から2027年に100億～1,000億ドルに達すると予測したことを挙げました。脚注によると、ReflectionはSpaceX Colossusの計算資源に月1億5,000万ドルを投じると報じられ、Beamの事前学習と事後学習にはそれぞれ4週間かかったと報告されています。

強化学習では、Ricursiveは合成データ生成の仕組みを開発し、事後学習用データを購入しなかったと説明しました。手法には、切り詰めた重要度サンプリング、スコアの中心化、線形の長さペナルティーを、長い課題を扱う合成環境と組み合わせました。モデルの改善に応じて課題の難易度も調整したといいます。同社は140万回のロールアウト後にTerminalBench 2.1で80.5に達したと報告し、これはReflection Beamの約70分の1の回数です。

RicursiveはNVIDIA製ハードウェアでの学習と推論を想定し、専門家混合型ではなく、密なTransformerを採用しました。単純な分割処理で、独自カーネルも量子化も使わず、事前学習と事後学習でモデルのFLOP利用率40%を達成したと報告しています。モデルは650億パラメーター、80層で、d_modelの幅は5,120です。設計には、注意ヘッドの増加、スライディングウィンドウ注意と全体層の比率の引き上げ、ウィンドウの縮小、FFN活性化のクリッピング、ゲート付き注意、全体NoPE、値残差も含まれます。RippleはHugging Face、Together AI、GMI Cloud、OpenRouterで利用でき、Fireworksは同日中に提供開始予定でした。

同社はOlmo 3のモデル段階設計をもとに実験し、スケーリング則、アーキテクチャと深さの拡大、事前・事後正規化、シグモイド型ゲート付き注意、2ストリームmHC、全体NoPE、最終的な学習率の冷却、値残差、コードを増やした最終データセットなどを順に検証しました。2ストリームmHCは、40億パラメーターで結果を改善しなかったため採用しませんでした。Ricursiveによると、変更を組み合わせることで、dolma_stackの交差エントロピーで測ったコード計算効率が40億パラメーター時に最大16倍向上し、Olmo 3の段階設計と同程度のコード性能を16分の1の計算量で実現しました。社内版のモデルはチップ設計プラットフォームを支えており、同社はAI2、Prime Intellect、RadixArk、NVIDIAのオープンソース貢献にも謝意を示しました。

Ricursive Intelligenceは汎用オープンウェイト言語モデル「Ripple-65B Preview」を公開し、エージェント型コーディングで米国のオープンウェイトモデルとして最高水準を達成したと発表しました。同社によると、自社開発モデルがAIチップ設計プラットフォームを支えており、Rippleはゼロから学習させました。研究開発全体の費用は3,200万ドルで、事前学習に12兆トークンを使い、最大100万トークンのコンテキスト長に対応します。TerminalBench 2.1では80.52を記録し、Reflection Beam 501Bの80.1、Meta Muse Spark Open 816Bの76.4、Thinking Machines Inkling 975Bの63.8、NVIDIA Nemotron 3 Ultra 550Bの56.4を上回ったとしています。

Ricursiveによると、3,200万ドルには事前学習の段階設計、データの混合、評価、デバッグ、合成データ生成、事後学習手法、最終学習が含まれます。同社の推定では、これは従来のオープンウェイト型エージェント・コーディングの首位モデルの費用の10分の1です。費用比較の背景として、サム・アルトマンが2023年にGPT-4の学習費用は1億ドルを超えたと述べたこと、ダリオ・アモデイが翌年、最先端モデルの学習費用は10億ドルに達する可能性があり、事前学習費用は2026年から2027年に100億～1,000億ドルに達すると予測したことを挙げました。脚注によると、ReflectionはSpaceX Colossusの計算資源に月1億5,000万ドルを投じると報じられ、Beamの事前学習と事後学習にはそれぞれ4週間かかったと報告されています。

強化学習では、Ricursiveは合成データ生成の仕組みを開発し、事後学習用データを購入しなかったと説明しました。手法には、切り詰めた重要度サンプリング、スコアの中心化、線形の長さペナルティーを、長い課題を扱う合成環境と組み合わせました。モデルの改善に応じて課題の難易度も調整したといいます。同社は140万回のロールアウト後にTerminalBench 2.1で80.5に達したと報告し、これはReflection Beamの約70分の1の回数です。

RicursiveはNVIDIA製ハードウェアでの学習と推論を想定し、専門家混合型ではなく、密なTransformerを採用しました。単純な分割処理で、独自カーネルも量子化も使わず、事前学習と事後学習でモデルのFLOP利用率40%を達成したと報告しています。モデルは650億パラメーター、80層で、d_modelの幅は5,120です。設計には、注意ヘッドの増加、スライディングウィンドウ注意と全体層の比率の引き上げ、ウィンドウの縮小、FFN活性化のクリッピング、ゲート付き注意、全体NoPE、値残差も含まれます。RippleはHugging Face、Together AI、GMI Cloud、OpenRouterで利用でき、Fireworksは同日中に提供開始予定でした。

同社はOlmo 3のモデル段階設計をもとに実験し、スケーリング則、アーキテクチャと深さの拡大、事前・事後正規化、シグモイド型ゲート付き注意、2ストリームmHC、全体NoPE、最終的な学習率の冷却、値残差、コードを増やした最終データセットなどを順に検証しました。2ストリームmHCは、40億パラメーターで結果を改善しなかったため採用しませんでした。Ricursiveによると、変更を組み合わせることで、dolma_stackの交差エントロピーで測ったコード計算効率が40億パラメーター時に最大16倍向上し、Olmo 3の段階設計と同程度のコード性能を16分の1の計算量で実現しました。社内版のモデルはチップ設計プラットフォームを支えており、同社はAI2、Prime Intellect、RadixArk、NVIDIAのオープンソース貢献にも謝意を示しました。