メモリ容量の壁とは　4,050億の重みは16ビットで810GB、H100の10倍超

AIのモデルを動かすには、重みをすべてメモリに置く必要があります。さらに、言語モデルは会話の途中の結果（KVキャッシュ）もメモリに残します。合わせた大きさが、半導体のメモリに入りきらない。これがメモリ容量の壁です。

何がメモリを使うのか

メモリの使い道は大きく3つです。1つ目はモデルの重みです。重みの数に、1つあたりのバイト数を掛けた大きさになります。2つ目はKVキャッシュで、入力の文章が長いほど、同時に相手をする利用者が多いほど増えます。3つ目は学習の時だけに要るもので、勾配や、最適化の計算に使う値です。学習では重みの数倍の領域が必要になります。

モデルの大きさとGPUのメモリ（モデルの大きさは計算）

項目	大きさ
Llama 3.1 405B（16ビット）	約810GB
Llama 3.1 405B（8ビット）	約405GB
DeepSeek-V3（6,710億個、8ビット）	約671GB
H100のメモリ	80GB
H200のメモリ	141GB
Rubinのメモリ（最大）	288GB
GB300 NVL72（72基の合計）	約20TB

GPUのメモリはエヌビディアの製品ページと技術ブログから。モデルの大きさは、重みの数×1つあたりのバイト数で計算。

DeepSeek-V3は1語ごとに370億個の重みしか動かさない専門家混合型（MoE）ですが、メモリには6,710億個すべてを置く必要があります。計算が減っても、容量の問題は残ります。

3つの対処

1つ目は分割です。モデルを複数のGPUに分けて置き、GPU同士を速い道でつなぎます。エヌビディアのGB200 NVL72は72基のGPUを毎秒130テラバイトの道でつなぎ、1つの大きなGPUのように扱えるようにしました。

2つ目は数値の桁を減らすことです。16ビットを4ビットにすれば、重みの大きさはおおむね4分の1になります。エヌビディアの4ビット形式NVFP4は、目盛りを含めてFP16の約3.5分の1の大きさです。

3つ目は退避です。使っていないKVキャッシュを、GPUのメモリから安いメモリやSSDに移し、必要な時に戻します。エヌビディアの推論ソフトDynamoは、この仕組みを持っています。

メモリの種類を使い分ける動き

エヌビディアは2025年9月、長い文章の読み込みに特化したGPU「Rubin CPX」を発表しました。高価なHBMではなく、128GBのGDDR7を積みます。100万語規模の入力を扱う用途向けで、2026年末に出す予定です。これを組み込んだラック「Vera Rubin NVL144 CPX」は、速いメモリを100TB持ち、ラック全体のメモリ帯域は毎秒1.7ペタバイトとしています。

メモリの量そのものを増やす開発も進みます。SKハイニックスはHBM4の開発を2025年9月に終えたと発表しました。Rubinは1基に最大288GBのHBM4を積みます。H100の80GBの3.6倍です（計算）。

関連する用語

• KVキャッシュ：言語モデルが答えを作る途中の結果を残したもの。
• メモリ帯域：1秒間に運べるデータの量。容量とは別の数字。
• モデル並列：モデルを複数のGPUに分けて置く方法。
• GDDR7：グラフィックス向けのメモリ。HBMより安く、帯域は狭い。

Rubin CPXについて、エヌビディアは1億ドルの投資ごとに50億ドルのトークン収入を生めると説明しています。