推論サーバーとは　問い合わせをまとめてGPUに流すソフト、処理量2〜4倍の例

チャットのAIに質問すると、その文章はデータセンターの推論サーバーに届きます。推論サーバーは、同じ時刻に届く多数の問いをまとめ、GPUに計算させ、答えを1語ずつ返します。モデルそのものを速くするソフトとは別の層で、交通整理を受け持ちます。

前半と後半で性質が違う

大規模言語モデルの推論は2段に分かれます。前半の「プリフィル」は、入力の文章をまとめて読み込む段で、計算の量が多くなります。後半の「デコード」は、答えを1語ずつ作る段で、毎回メモリから重みと途中の結果を読むため、メモリの速さで決まります。

途中の結果は「KVキャッシュ」としてGPUのメモリに残します。会話が長いほど、利用者が多いほど大きくなります。推論サーバーは、どの問いのKVキャッシュをどこに置くかを管理し、多くの問いを同時に処理できるようにします。

主なソフト

主な推論サーバー・推論ソフト

名前	出どころ	特徴と示された数字
vLLM	米カリフォルニア大学バークレー校の研究から公開	KVキャッシュを区画で管理。処理量は従来の2〜4倍（論文）
SGLang	公開のソフト	AMDのROCm 10.1版も対応の一覧に入れる
Dynamo	エヌビディア（2025年3月18日発表）	前半と後半を別のGPUに分担。GB200 NVL72でGPUあたりの生成量30倍超

vLLMの論文によると、従来のソフトでは、KVキャッシュのメモリが細切れや重複で無駄になり、同時に処理できる問いの数が限られていました。vLLMは、パソコンのOSがメモリを扱うように、KVキャッシュを小さな区画に分けて管理します。同じ待ち時間のまま、処理量はFasterTransformerやOrcaと比べ2〜4倍になりました。vLLMは今、PyTorch Foundationの事業の一つです。

エヌビディアのDynamo

エヌビディアは2025年3月18日、公開の推論の枠組み「Dynamo」を発表しました。会社の説明では、従来のTriton Inference Serverの後継です。中ではTensorRT-LLM、vLLM、SGLangを動かせます。

Dynamoは、前半と後半を別々のGPUに分け、それぞれに合った数のGPUを割り当てます。過去の問いのKVキャッシュがあるGPUに次の問いを回す仕組みや、使わないKVキャッシュを安いメモリや記憶装置に移す仕組みも持ちます。発表時、Hopper世代でLlamaのモデルを動かす場合、同じGPUの数で性能を2倍にできるとしました。発表文には、AWS、コアウィーブ、グーグル・クラウド、メタ、マイクロソフトのAzure、ネビウスなどが利用や対応の企業として並びました。

現在の製品ページでは、GB300 NVL72とDynamoの組み合わせで、専門家混合型（MoE）のモデルの処理量がHopper世代の最大50倍になるとしています。

関連する用語

• KVキャッシュ：言語モデルが答えを作る途中の結果を残したもの。
• プリフィル／デコード：推論の前半（入力を読む）と後半（1語ずつ作る）。
• バッチ処理：複数の問いをまとめて1回で計算すること。
• TensorRT-LLM：エヌビディアの言語モデル向けの推論ライブラリ。

エヌビディアは2026年8〜10月期の決算を11月17日（米国時間）に発表します。