Program-as-Weights:自然言語を効率的なニューラルプログラムに変換
HuggingFace
2026年7月4日 (土)
- •研究チームは自然言語仕様をコンパクトなローカル実行可能ニューラルアーティファクトにコンパイルする「Program-as-Weights(PAW)」を開発した。
- •0.6BのQwen3インタプリタにPAWアダプターを適用することで、32Bモデルと同等の性能を50分の1のメモリ使用量で実現する。
- •MacBook M3上で毎秒30トークンの速度でローカル実行が可能であり、外部APIへの依存を排除する。
研究チームは、自然言語の仕様をコンパクトなニューラルアーティファクトにコンパイルし、ローカル環境で実行する新しいプログラミングパラダイム「Program-as-Weights(PAW)」を発表した。これは、ログ分析やデータランキングなどのタスクにおいて、LLMのAPIに依存することで発生するデータの局所性、再現性、高コストといった課題を解決するための手法である。PAWは、1000万件の事例を含む新しいデータセット「FuzzyBench」で学習された4Bのコンパイラを使用し、0.6BのQwen3インタプリタ向けにパラメータ効率の高いアダプターを出力する。
この構成は、32Bモデルに対して直接プロンプトを入力する手法と同等の性能を維持しつつ、推論に必要なメモリ量を約50分の1に抑える。MacBook M3上では、推論速度として毎秒30トークンを達成した。モデルを入力ごとの問題解決ツールではなく、ツールを作成する生成機として再定義することで、開発者はコンパイラを一度実行して再利用可能なプログラムを作成できる。その後の関数適用はすべてローカルで完結し、運用コストも低減される。
本システムは「Alien Taboo」ゲームや3Dアバターのディレクション、ウェブコンテンツアシスタントなど多様な用途に対応している。利用者はシンプルなコンパイルコマンドを通じて、これらの機能をPythonのワークフローに統合可能だ。また、コーディングエージェントが標準的なスキル管理ツールを用いてニューラルプログラムを作成、コンパイル、デプロイするための統合パスも提供されている。