AIの学習と推論　求められる半導体の違い

生成AIのニュースでは「学習」と「推論」という言葉がよく出てきます。学習はモデルを作る段階、推論はモデルを使う段階です。同じAIの計算でも、求められる半導体の性能や組み合わせが違います。半導体の需要を考えるときの基本として整理します。

学習　大量のGPUを1つの計算機のように

学習では、大量の文章や画像をモデルに読ませ、答えのずれが小さくなるように、モデルの中の数値（パラメーター）を何度も直します。大きなモデルの学習では、非常に多くのGPUを同時に動かし、計算の途中の結果を互いにやりとりし続けます。

このため学習では、GPUの計算の力に加え、GPUどうしを結ぶ高速の通信と、GPUの隣に置くHBMの速さが効きます。どれか1つでも遅いと、全体が待たされます。ネットワークの機器や、光で信号を送る部品も、学習の規模とともに需要が増えます。

推論　速さと費用とメモリの容量

推論は、利用者がAIに質問するたびに行う計算です。1回の計算は学習より小さいものの、利用者が増え、使い方が広がるほど回数が増えます。推論では、答えが返るまでの速さと、1回あたりの費用が問われます。

メモリの使い方も変わります。マイクロン・テクノロジーは9月30日の決算資料で、モデルの大型化、長い文脈の処理、同時に処理する数の増加が、AIの計算に必要なメモリと記憶装置の量を増やし続けていると説明しました。推論の途中のデータを一時的に保存する「KVキャッシュ」をSSDに移す使い方も、SSDの需要を広げているとしています。

学習と推論の違い

項目	学習	推論
何をするか	データからモデルを作る	モデルで答えを出す
計算の形	大規模な計算を長期間まとめて行う	小さめの計算を何度も行う
重視される点	計算の力、GPUどうしの通信、HBMの速さ	応答の速さ、1回あたりの費用、メモリの容量
主な半導体	GPU、HBM、ネットワーク用の半導体	GPU、専用半導体（ASIC）、メモリ、SSD
需要の増え方	モデルの大型化とともに増える	利用者と使い方の広がりとともに増える

数字に表れる推論の広がり

マイクロンの6〜8月期のデータセンター向けSSDの売上は約100億ドルでした。前年同期の10倍を超え、NANDの売上の3分の2を超えています。DRAMやHBMだけでなく、保存用の記憶装置にもAIの需要が及んでいます。

マイクロソフトは、7〜9月期の設備投資の約4分の3が、CPUやGPUなど使用年数の短い資産だったと説明しています。2027年1〜6月は、主にCPUへの支出で設備投資が加速するとしています。AIの処理が広がるにつれ、GPU以外の半導体にも投資が向かっていることがうかがえます。

推論は回数が多く、費用の差が積み重なります。このため、決まった計算を安く速くこなす専用の半導体（ASIC）を使う動きもあります。台湾で専用半導体の設計を請け負う世芯（Alchip）の10月の売上は、前年同月比515.8%増でした。

今後の注目点

• メモリ各社の決算で、推論向けの需要についての説明が増えるか。
• IT大手の設備投資のうち、GPU以外の半導体への支出の動き。
• 専用半導体の設計受託の会社の月次売上（12月に11月分を公表）。