VocabX、作文採点の推論コストを77.0％削減

Dharma-AIの研究者は、言語モデルの語彙を特定のタスク向けに調整する手法「VocabX」により、本番運用中のポルトガル語作文採点システムで測定上の推論コストを77.0％削減したと報告しました。結果は査読中の論文の現行版に基づき、公開前に変更される可能性があります。研究チームはQwen3-4Bの基盤モデル、データ、学習手順、乱数シードを固定し、トークナイザーだけが異なる7種類を、RTX 5090 GPUとvLLM推論サーバーで500件のリクエストを使って比較しました。

採点システムはポルトガル語の作文、設問、補足文書を読み、各能力項目の点数とコメントを含むJSON形式の評価を返します。元の語彙には151,669項目があり、このタスクではほとんど使われないものも多く含まれていました。平均応答は350トークンから101トークンに減少し、採点精度と、話題逸脱や規則違反の作文を検出する性能を組み合わせたベンチスコアは0.703から0.810に上がりました。

研究チームによると、汎用トークナイザーはJSONの構造や能力項目名など、タスク内で頻出する文章を複数のトークンに分割することがあります。また、モデルにほとんど使わない語彙項目まで採点させます。採点システムの測定では、応答生成時にトークンを1つ生成するコストは、入力トークンを1つ読むコストの7.4倍でした。この比率はハードウェア、タスク、バッチサイズ、文脈の長さによって変わります。

VocabXはトークン頻度だけでなく、推定されるコストと時間の削減量に基づいて語彙を変更します。単語の分割方法を変えるサブワード単位と、繰り返されるJSONの行全体などを1つの「マクロトークン」にする複数語単位の両方で機能します。長い単語、行、表現、文、句読点で区切られる構造を見つける5種類の自動探索を行いました。8つのコーパスでは、句読点構造の探索が平均で最大の効果を示し、コードでは17.5ポイントを占めました。5種類すべての探索を使わない場合、採点システムのトークン削減幅は55.6ポイント小さくなりました。出力層の行数も約152,000から約65,000に縮小しました。

サンプルに現れなかった候補の価値は、削減効果をゼロとせず統計的に推定します。著者らの例では、50,000件の文書に37回出現する表現が、400件のサンプルに含まれる確率は約26％です。契約書コーパスでは、候補のうち400件のサンプルに含まれたのは16.6％でした。この推定により、同じサンプルと予算でのトークン削減率は44.7％から52.8％に上がりました。

公開されている5分野（契約書、医学論文、科学論文、ニュース、Pythonコード）と3系列のモデル（Qwen3、Llama-3.1、Gemma-3）を組み合わせた15通りすべてで、VocabXは最強の比較手法を1.2～9.3ポイント上回る圧縮率を達成しました。枝刈り版は15通りすべてで推定推論コストが最も低く、平均差はQwen3で10.2ポイント、Llama-3.1で7.5ポイント、Gemma-3で13.6ポイントでした。契約書では、語彙項目数113,426でトークンを62.6％削減しました。語彙項目数207,803の最良のインプレースBPE設定では削減率は61.8％でした。

初期版は各能力項目の点数と周囲のJSONを1つのマクロトークンにまとめていましたが、ベンチスコアは0.689で、本番システムの0.703を下回りました。点数を独立したトークンにすると応答ごとに2トークン増え、スコアは0.810に上がり、コスト削減率は融合版の73.3％に対して77.0％となりました。Dharma-AIは、手法の全容と実験表を掲載するVocabX論文を近く公開する予定だとしています。

Dharma-AIの研究者は、言語モデルの語彙を特定のタスク向けに調整する手法「VocabX」により、本番運用中のポルトガル語作文採点システムで測定上の推論コストを77.0％削減したと報告しました。結果は査読中の論文の現行版に基づき、公開前に変更される可能性があります。研究チームはQwen3-4Bの基盤モデル、データ、学習手順、乱数シードを固定し、トークナイザーだけが異なる7種類を、RTX 5090 GPUとvLLM推論サーバーで500件のリクエストを使って比較しました。

採点システムはポルトガル語の作文、設問、補足文書を読み、各能力項目の点数とコメントを含むJSON形式の評価を返します。元の語彙には151,669項目があり、このタスクではほとんど使われないものも多く含まれていました。平均応答は350トークンから101トークンに減少し、採点精度と、話題逸脱や規則違反の作文を検出する性能を組み合わせたベンチスコアは0.703から0.810に上がりました。

研究チームによると、汎用トークナイザーはJSONの構造や能力項目名など、タスク内で頻出する文章を複数のトークンに分割することがあります。また、モデルにほとんど使わない語彙項目まで採点させます。採点システムの測定では、応答生成時にトークンを1つ生成するコストは、入力トークンを1つ読むコストの7.4倍でした。この比率はハードウェア、タスク、バッチサイズ、文脈の長さによって変わります。

VocabXはトークン頻度だけでなく、推定されるコストと時間の削減量に基づいて語彙を変更します。単語の分割方法を変えるサブワード単位と、繰り返されるJSONの行全体などを1つの「マクロトークン」にする複数語単位の両方で機能します。長い単語、行、表現、文、句読点で区切られる構造を見つける5種類の自動探索を行いました。8つのコーパスでは、句読点構造の探索が平均で最大の効果を示し、コードでは17.5ポイントを占めました。5種類すべての探索を使わない場合、採点システムのトークン削減幅は55.6ポイント小さくなりました。出力層の行数も約152,000から約65,000に縮小しました。

サンプルに現れなかった候補の価値は、削減効果をゼロとせず統計的に推定します。著者らの例では、50,000件の文書に37回出現する表現が、400件のサンプルに含まれる確率は約26％です。契約書コーパスでは、候補のうち400件のサンプルに含まれたのは16.6％でした。この推定により、同じサンプルと予算でのトークン削減率は44.7％から52.8％に上がりました。

公開されている5分野（契約書、医学論文、科学論文、ニュース、Pythonコード）と3系列のモデル（Qwen3、Llama-3.1、Gemma-3）を組み合わせた15通りすべてで、VocabXは最強の比較手法を1.2～9.3ポイント上回る圧縮率を達成しました。枝刈り版は15通りすべてで推定推論コストが最も低く、平均差はQwen3で10.2ポイント、Llama-3.1で7.5ポイント、Gemma-3で13.6ポイントでした。契約書では、語彙項目数113,426でトークンを62.6％削減しました。語彙項目数207,803の最良のインプレースBPE設定では削減率は61.8％でした。

初期版は各能力項目の点数と周囲のJSONを1つのマクロトークンにまとめていましたが、ベンチスコアは0.689で、本番システムの0.703を下回りました。点数を独立したトークンにすると応答ごとに2トークン増え、スコアは0.810に上がり、コスト削減率は融合版の73.3％に対して77.0％となりました。Dharma-AIは、手法の全容と実験表を掲載するVocabX論文を近く公開する予定だとしています。