vLLM

vLLMって何？

vLLMは、大規模言語モデルのためのオープンソース推論エンジン。「1枚のGPUで、より多くの人に、より速く」という課題に答えるために作られました。核となる武器はPagedAttention。メモリをOSのように細かく管理し、スループットを大幅に引き上げます。

従来の推論の痛みは？

メモリの断片化
各リクエストはKVキャッシュ用にメモリを確保しますが、長さはまちまち。多めに確保すれば無駄、少なめなら不足。どちらにせよ断片だらけになります。
リクエストが待たされる
メモリを活かせないと同時処理数が減り、ユーザーは待つしかありません。

PagedAttentionはどう解決するのか

メモリを「ページ」に切る
OSのページングのように、KVキャッシュを固定サイズの小ブロックに分け、必要に応じて割り当てます。
実際に使う分だけ保存
リクエストごとに大きな領域を確保せず、使った分だけ割り当て。断片化はほぼ消えます。
動的バッチ
メモリをうまく使えると、同時に多くのリクエストを処理し、異なるリクエストを賢くまとめてバッチ計算できます。

なぜ重要なのか

vLLMは「1枚のカードで何人にサービスできるか」を新たな水準へ押し上げ、多くのオンラインAIサービスの裏で動いています。AIアプリを公開する人にとっては、低コスト・高並行・短い待ち時間を意味します。

まとめ：vLLMは「ページング管理」の発想で推論のメモリ断片化を治し、1台のGPUでより多くの人にサービスします。