メモリ帯域とは　端子の数×速さで決まる、HBM4は端子を2,048本に倍増

メモリ帯域は、メモリと計算の回路をつなぐ道の太さです。どれほど計算の回路が速くても、データが届かなければ待つしかありません。AI向けの半導体の仕様には、計算の速さと並んで必ずこの数字が載ります。

端子の数と1本の速さ

帯域は「端子（I/O）の数×1本あたりの速さ」で決まります。1本あたりの速さはギガビット毎秒（Gbps）で表し、8で割るとバイトの単位です。

例えば、端子が1,024本で1本9.6Gbpsなら、1個のメモリの帯域は毎秒約1.2テラバイトです（計算）。GPUは、このメモリを周りに何個も並べて、合計の帯域を稼ぎます。HBM（広帯域メモリ）は、メモリのチップを縦に積み、半導体のすぐ横に置くことで、端子を数多く引き出せるようにした部品です。

SKハイニックスは2025年9月12日、HBM4の開発を終えたと発表しました。端子は2,048本で前の世代の2倍、1本の速さは10Gbps超で、業界団体JEDECの標準の8Gbpsを上回ります。帯域は前の世代の約2倍、電力の効率は40%超よくなったとしています。2,048本を10Gbpsで動かすと、1個で毎秒約2.56テラバイトです（計算）。

主な半導体の帯域

AI向け半導体1個あたりのメモリ帯域（各社の発表から）

製品	会社	メモリ	帯域（毎秒）
H100	エヌビディア	80GB	3.35TB
H200	エヌビディア	141GB（HBM3e）	4.8TB
MI300X	AMD	192GB（HBM3）	5.3TB
Ironwood（第7世代TPU）	グーグル	192GB	7.37TB
Blackwell	エヌビディア	製品により異なる	8TB
Rubin	エヌビディア	最大288GB（HBM4）	22TB

エヌビディアのH100とH200は同じHopperの設計で、計算の速さも同じです。違いはメモリで、会社はH200の帯域をH100の1.4倍と説明しています。計算の回路を替えずに、メモリだけを替えた製品が出たことになります。

推論で効く理由

言語モデルが答えを1語作るたびに、GPUはモデルの重みをメモリから読み出します。1人分の問いを処理する場合、1語の計算量は少なく、待ち時間のほとんどは読み出しです。

例えば、重みが700億個のモデルを8ビットで持つと約70ギガバイトです。毎秒4.8テラバイトのH200なら、すべての重みを読むのに約15ミリ秒かかり、1秒に作れる語の数は約69が上限になります（いずれも計算）。複数の問いをまとめて処理すると、1回の読み出しで何人分も計算できるため、効率が上がります。推論サーバーが問いをまとめるのはこのためです。

学習や、入力の文章を読み込む段（プリフィル）は計算の量が多く、計算の回路の速さが効きます。どちらが上限になるかは、運ぶデータ1バイトあたりの計算の回数で決まります。

関連する用語

• HBM：メモリのチップを縦に積んだ、帯域の広いメモリ。
• メモリ容量の壁：モデルの大きさにメモリの量が追いつかない問題。
• キャッシュ：よく使うデータを計算の回路のそばに置く小さなメモリ。
• NVLink：エヌビディアのGPU同士をつなぐ道。メモリ帯域とは別の数字。

グーグルによると、IronwoodのHBMの帯域は前の世代（Trillium）の4.5倍です。