Anthropicの学習チェックポイント流出を主張
- •Hugging Faceの匿名リポジトリ「numbat」が、Anthropicの「Mythos」級モデルの事前学習チェックポイントを掲載したと主張
- •掲載情報では114層、1,224個のエキスパート、合計7.72 TBの772分割ファイル、131,072トークンのトークナイザーを記載
- •投稿者は学習約196万ステップ中の1,830,000ステップ時点で、事後学習やRLHFは含まないと説明
「numbat」と名付けられた匿名のHugging Faceリポジトリが、Anthropicの「Mythos」級の学習実行中に事前学習段階で取得したチェックポイントを含むと主張しています。ページには約14兆パラメーター、114層、ハイブリッド型のGDN／MLAアーキテクチャ、トップ48方式で振り分ける1,224個のエキスパートと共有エキスパート1個、NVFP4形式での保存が記載されています。リポジトリのYAMLメタデータは空、または欠落しています。
リポジトリには合計7.72 TBのsafetensorsファイル772個があり、各ファイルは10.6 GB未満とされています。設定ファイルとモデルコード、131,072トークンのトークナイザー、全ファイルを網羅する索引、チェックポイントのメタデータ、学習の最後の約400ステップ分も含まれます。投稿者によると、付属の参照実装には各テンソルに対応するモジュールがあり、strict=Trueを指定する方法、またはtrust_remote_code=Trueを使ってAutoModelForCausalLM経由でチェックポイントを読み込めます。モデルのforwardメソッドは本体部分を実行し、draftメソッドは複数トークン予測層を実行すると説明しています。
投稿者は、「numbat」というコードネームが2026年3月のClaude Codeソース流出で未公開のAnthropicモデル名として登場したことや、アーキテクチャとテンソルデータに内部整合性があることを、ファイルの信頼性の根拠に挙げています。リポジトリの説明では、NVFP4のスケールブロックはRTNEの範囲内で復号され、スケール値はアンダーフローせず、各NVFP4の4要素単位は変換後に完全一致するとしています。分割ファイルのサイズ、テンソル数、索引項目も互いに整合しているとのことです。これらはリポジトリ上の主張であり、Anthropicの関与が独立に確認されたわけではありません。
投稿者は、チェックポイントが約196万ステップの学習実行のうち1,830,000ステップ時点のもので、事後学習やRLHFを含まず、出力は事前学習の生の続きだと説明しています。評価用コピーは約85基のTrainium2で実行できるようNVFP4に量子化した一方、BF16形式の学習用重みとオプティマイザーの状態はクラスター内に残っていると述べています。ページによると、先月のダウンロード数は5,846件で、モデルサイズは6.8兆パラメーターとされ、推論を提供するプロバイダーはありません。