Mesh LLM、分散型AIコンピューティング基盤を公開
- •Mesh LLMは、既存のハードウェアによるピア・ツー・ピアネットワークを構築し、AI分散処理を可能にする。
- •同プラットフォームは、235Bパラメータモデルを分割実行する「スプリットモード」を搭載する。
- •システムは認証付きQUIC通信を行うirohを採用し、OpenAI互換のAPIとして動作する。
Mesh LLMは、複数のマシン間でGPUやメモリリソースを統合し、大規模言語モデルを単一システムとして実行できる分散AIプラットフォームである。http://localhost:9337/v1 のOpenAI互換APIとして機能するため、ユーザーはローカル実行だけでなく、ピア・ツー・ピアネットワーク全体にワークロードを分散させることが可能だ。この設計により、中央集権型のクラウドサービスが抱えるモデルのアップデート権限、データプライバシー、変動する月額コストといった制約を回避できる。アーキテクチャは汎用性が高く、ラップトップ向けモデルから235BパラメータのMixture-of-expertsモデルまで、40以上のモデルに対応する。
単一GPUの容量を超えるモデルに対しては、「Skippy」と呼ばれるスプリットモードを使用する。モデルを層ごとに分割し、複数のハードウェアノード間で中間的な活性値をストリーミングすることで、単体デバイスでは収容不可能なモデルの運用を実現した。基盤となる通信には、中央サーバーを介さず認証済みのNAT越えを行うQUIC通信ツール「iroh」が用いられる。ノードは公開鍵で識別され、mesh-llm/1、mesh-llm-control/1、skippy-stage/2のプロトコルで通信を行う。
インターネット経由の信頼性を担保するため、直接接続できない場合に備え、異なる地域に2つのirohリレーがフェイルオーバー経路として配置されている。ソフトウェア自体はわずか18 MBと軽量だ。今後の開発計画として、エージェント間通信プロトコル（ACP）のサポート追加や、irohのSwift SDKを利用したモバイルアプリの公開が予定されており、プライベートかつピア・ツー・ピアなAIインフラの拡大を目指している。