TensorRTとは　学習済みモデルをGPU向けに作り直す推論の道具

TensorRTは、エヌビディアが無料で配る推論用のソフトです。会社は「高性能な深層学習の推論のための道具の集まり」と説明しています。PyTorchなどで学習したモデルを読み込み、手元のGPUで最も速く動く形の「エンジン」に作り直します。

3つの作り直し

TensorRTの作り直しは大きく3つです。

1つ目は計算のまとめです。畳み込みと活性化関数のように続けて行う計算を1つの部品にし、メモリの読み書きを減らします。2つ目は数値の桁を減らすことです。学習では16ビットや32ビットの数で計算しますが、推論では8ビットや4ビットに落としても答えがほとんど変わらない場合があります。数が小さくなるほど、メモリも計算も軽くなります。3つ目は部品の選択です。同じ計算でも、GPUの世代によって速い書き方が違うため、候補を試して一番速いものを選びます。

こうして作ったエンジンは、そのGPUの世代に合わせたものです。別の世代のGPUで使う場合は作り直します。

道具の顔ぶれ

TensorRTの主な部品（エヌビディアの説明から）

部品	役割	会社が示す数字
TensorRT SDK	各種のモデルを読み込み、データセンターから端末まで向けに最適化	CPUだけの場合の36倍の速さ
TensorRT-LLM	大規模言語モデルの推論を速くする公開のライブラリ	最大8倍の性能、総保有コストで5.3倍の改善
Model Optimizer	量子化、枝刈り、蒸留などでモデルを軽くする	―
TensorRT for RTX	パソコンのRTX向けの推論	作り直しは15〜30秒ほど

対応する数値の形は、FP8、FP4、INT8、INT4です。エヌビディアは、H100でGPT-J 6Bを8倍、Llama 2を4倍の速さで動かした例を挙げています。PyTorchやハギングフェイスの道具とつなぎ、1行のコードで推論を6倍速くできるともしています。いずれも会社の示す条件での数字です。

推論サーバーとの関係

TensorRTはモデルを速く動かす部分を受け持ちます。多数の利用者からの問い合わせを受け付け、GPUに振り分ける仕事は、推論サーバーが担います。エヌビディアの推論サーバー「Dynamo」は、TensorRT-LLMのほか、vLLMやSGLangといった公開の推論ソフトも中で動かせます。

PyTorchの側でも、エヌビディアの4ビットの形式（NVFP4）でモデルを速く動かす改良が進んでいます。2026年10月28日のPyTorch 2.15版は、Blackwell世代のGPUでNVFP4の言語モデルの文章の生成を速くしました。

関連する用語

• 推論：学習済みのモデルに問いを入れて答えを出すこと。
• 量子化：数値の桁を減らしてモデルを軽くすること。
• ONNX：モデルを別のソフトに渡すための共通の形式。TensorRTはONNXの読み込みに対応する。
• エンジン：TensorRTが作り直した、特定のGPU向けのモデル。

TensorRT-LLMの性能の数字は、エヌビディアが示す最大値で、モデルや条件によって変わります。