昨日の記事インフラ
SGLang、DeepInferとのベンチマーク結果を報告
- 4基のGB300と4基のB300で、SGLangはプリフィル処理のスループットがDeepInfer比で最大1.04倍
- 64基のGB300では、GPU当たり16~256件のリクエスト時にSGLangのデコード処理が1.1~7.4%短縮
- SGLangはDeepSeekのカーネルを統合し、KVキャッシュやプリフィル・デコード分離、レプリカ負荷分散を追加
LMSYS記事を読む · 約3分 →
最も速く正確なAIニュースを、毎朝お届けします