Moonshot AI、Kimi K3.1 Proの重みを公開

Moonshot AIは現地時間4日、Hugging Faceを通じてKimi K3.1 Proの重みを公開しました。開発者は自社インフラでモデルを動かし、変更できます。公開は先月のモデル発表時に予告した予定に沿ったもので、保存容量は約1.56テラバイト（TB）、重みは96ファイルに分かれています。モデル設定と入力処理コードも提供されました。

Kimi K3.1 Proは、総数2兆8,000億個のパラメーターのうち、推論時に1,040億個を有効化する混合専門家モデル（MoE）です。テキストと画像を処理し、最大約100万トークンの文脈を入力できます。モデルカードで公開された構造はKDAとDeepSeek Sparse Attention（DSA）を組み合わせています。93層のうち69層がKDA、24層がゲート型DSAです。従来のKimi K3で全体注意を行っていたゲート型MLA層は、DSAに置き換えられました。Moonshot AIによると、DSAは参照する入力トークンを選び、長い文脈を処理する際の計算効率を高める技術です。

重みの配布形式にはMXFP4を採用し、実行中の中間計算値である活性値にはMXFP8を適用します。学習段階から低精度計算を考慮する量子化考慮学習（QAT）も使用しました。自社インフラで実行する開発者には、vLLM、SGLang、TokenSpeedの推論エンジンを推奨しています。重みを直接ダウンロードして運用する方法と、Moonshot AIのAPIを利用する方法があります。

独自ライセンスは、利用、変更、ファインチューニング、再配布、商用利用を認めています。ただし、モデルサービス事業者とその系列会社の合算売上高が連続する12カ月間に2,000万ドルを超える場合、商用利用の前に別途契約が必要です。商用製品・サービスの月間アクティブユーザー数が1億人、または月間売上高が2,000万ドルを超える場合は、画面上にモデル名を表示しなければなりません。社内利用とMoonshot AIの公式製品または認定推論パートナー経由の利用は、契約と表示の条件から除外されます。

Kimi K3.1 Proは、コーディング、3D制作、金融研究などのエージェント作業を強化したモデルです。先の発表でMoonshot AIは、重みの公開に伴う悪用の可能性を抑えるため、中間学習データと強化学習の課題からサイバーセキュリティ関連の内容を選別して除いたと説明しました。一般的なコーディング作業を維持しながら、脆弱性を悪用する能力を低下させるための措置だとしています。

Moonshot AIは現地時間4日、Hugging Faceを通じてKimi K3.1 Proの重みを公開しました。開発者は自社インフラでモデルを動かし、変更できます。公開は先月のモデル発表時に予告した予定に沿ったもので、保存容量は約1.56テラバイト（TB）、重みは96ファイルに分かれています。モデル設定と入力処理コードも提供されました。

Kimi K3.1 Proは、総数2兆8,000億個のパラメーターのうち、推論時に1,040億個を有効化する混合専門家モデル（MoE）です。テキストと画像を処理し、最大約100万トークンの文脈を入力できます。モデルカードで公開された構造はKDAとDeepSeek Sparse Attention（DSA）を組み合わせています。93層のうち69層がKDA、24層がゲート型DSAです。従来のKimi K3で全体注意を行っていたゲート型MLA層は、DSAに置き換えられました。Moonshot AIによると、DSAは参照する入力トークンを選び、長い文脈を処理する際の計算効率を高める技術です。

重みの配布形式にはMXFP4を採用し、実行中の中間計算値である活性値にはMXFP8を適用します。学習段階から低精度計算を考慮する量子化考慮学習（QAT）も使用しました。自社インフラで実行する開発者には、vLLM、SGLang、TokenSpeedの推論エンジンを推奨しています。重みを直接ダウンロードして運用する方法と、Moonshot AIのAPIを利用する方法があります。

独自ライセンスは、利用、変更、ファインチューニング、再配布、商用利用を認めています。ただし、モデルサービス事業者とその系列会社の合算売上高が連続する12カ月間に2,000万ドルを超える場合、商用利用の前に別途契約が必要です。商用製品・サービスの月間アクティブユーザー数が1億人、または月間売上高が2,000万ドルを超える場合は、画面上にモデル名を表示しなければなりません。社内利用とMoonshot AIの公式製品または認定推論パートナー経由の利用は、契約と表示の条件から除外されます。

Kimi K3.1 Proは、コーディング、3D制作、金融研究などのエージェント作業を強化したモデルです。先の発表でMoonshot AIは、重みの公開に伴う悪用の可能性を抑えるため、中間学習データと強化学習の課題からサイバーセキュリティ関連の内容を選別して除いたと説明しました。一般的なコーディング作業を維持しながら、脆弱性を悪用する能力を低下させるための措置だとしています。