8ドル程度の価格で販売されるマイクロコントローラ「ESP32-S3」上で、2890万パラメータの言語モデルが正常に動作した。このシステムはサーバー接続を必要とせず、デバイス単体で毎秒約9.5トークンの生成速度を達成している。

同モデルは、ハードウェアの制約に対応するため、パラメータの大部分を512KBのSRAMではなく、低速なフラッシュメモリ上に配置する設計を採用した。これはGoogleのGemmaモデルに関連する技術であるPer-Layer Embeddingsを活用した手法であり、処理ロジックを高速メモリに維持しつつ、トークンごとに必要な450バイトのデータのみを読み出す仕組みである。

量子化により4ビットとなったモデルのサイズは14.9MBで、そのうち2500万パラメータがフラッシュメモリのルックアップテーブルに格納されている。従来の同等ハードウェアでの実装は最大で約26万パラメータ程度に制限されていたが、今回の設計により大幅な規模拡大を実現した。ハードウェア構成は8MBのPSRAMと16MBのフラッシュストレージを備える。

なお、推論機能はチップ内のSRAM容量に依存するため、出力能力には限界がある。TinyStoriesデータセットで訓練されたモデルは、一般的な命令追従や事実の回答ではなく、一貫した単純な物語の生成に適している。本プロジェクトの成果物、ファームウェア、および実験データはオープンソースリポジトリにて公開されている。

8ドル程度の価格で販売されるマイクロコントローラ「ESP32-S3」上で、2890万パラメータの言語モデルが正常に動作した。このシステムはサーバー接続を必要とせず、デバイス単体で毎秒約9.5トークンの生成速度を達成している。

同モデルは、ハードウェアの制約に対応するため、パラメータの大部分を512KBのSRAMではなく、低速なフラッシュメモリ上に配置する設計を採用した。これはGoogleのGemmaモデルに関連する技術であるPer-Layer Embeddingsを活用した手法であり、処理ロジックを高速メモリに維持しつつ、トークンごとに必要な450バイトのデータのみを読み出す仕組みである。

量子化により4ビットとなったモデルのサイズは14.9MBで、そのうち2500万パラメータがフラッシュメモリのルックアップテーブルに格納されている。従来の同等ハードウェアでの実装は最大で約26万パラメータ程度に制限されていたが、今回の設計により大幅な規模拡大を実現した。ハードウェア構成は8MBのPSRAMと16MBのフラッシュストレージを備える。

なお、推論機能はチップ内のSRAM容量に依存するため、出力能力には限界がある。TinyStoriesデータセットで訓練されたモデルは、一般的な命令追従や事実の回答ではなく、一貫した単純な物語の生成に適している。本プロジェクトの成果物、ファームウェア、および実験データはオープンソースリポジトリにて公開されている。