サイード・ショコウファ(Saeid Shokoufa)、モハマド・エルファン・サデギ(Mohammad Erfan Sadeghi)、M. カマル(M. Kamal)らは、LLM推論のレイテンシとエネルギーを推定するハイブリッド型3階層フレームワーク「HYMELL」を、2026-08-07付のarXiv論文で発表した。LLMの規模拡大に伴って増える計算コスト、エネルギー消費、推論レイテンシを対象に、持続可能な人工知能の展開と、ハードウェアを意識した設計を支援する狙いだ。

HYMELLは分析モデリングと機械学習を組み合わせ、LLMの実行を3階層に分ける。基本演算は分析的に推定し、より高いレベルの部品はMLで予測し、prefillとdecodeの各段階にまたがるシステムレベルのオーバーヘッドはend-to-endモデルで扱う。フレームワークは、密なfeed-forward network、Mixture-of-experts feed-forward network、Multi-head attention、Grouped-query attentionに対応する。NVIDIA H100 GPUでのテストでは、HYMELLはLLaMA 3 8Bのprefillとdecodeの両段階で誤差5%未満を達成し、アーキテクチャ上のパラメータから、ハードウェアなしで設計空間を探索できることを示した。

サイード・ショコウファ(Saeid Shokoufa)、モハマド・エルファン・サデギ(Mohammad Erfan Sadeghi)、M. カマル(M. Kamal)らは、LLM推論のレイテンシとエネルギーを推定するハイブリッド型3階層フレームワーク「HYMELL」を、2026-08-07付のarXiv論文で発表した。LLMの規模拡大に伴って増える計算コスト、エネルギー消費、推論レイテンシを対象に、持続可能な人工知能の展開と、ハードウェアを意識した設計を支援する狙いだ。

HYMELLは分析モデリングと機械学習を組み合わせ、LLMの実行を3階層に分ける。基本演算は分析的に推定し、より高いレベルの部品はMLで予測し、prefillとdecodeの各段階にまたがるシステムレベルのオーバーヘッドはend-to-endモデルで扱う。フレームワークは、密なfeed-forward network、Mixture-of-experts feed-forward network、Multi-head attention、Grouped-query attentionに対応する。NVIDIA H100 GPUでのテストでは、HYMELLはLLaMA 3 8Bのprefillとdecodeの両段階で誤差5%未満を達成し、アーキテクチャ上のパラメータから、ハードウェアなしで設計空間を探索できることを示した。