ストレージサーバーとは SSDやHDDを大量に積む記憶専用の機械、メタは7,500台で240PB
ストレージサーバーは、SSDやHDDを多数積み、ネットワーク越しにデータを読み書きさせる記憶専用のサーバーです。メタはLlama 3の学習に、SSDを積んだ7,500台のサーバーで240ペタバイトの記憶の基盤を用意しました。
- ストレージサーバーは、計算ではなくデータの保管と受け渡しを専門にするサーバーです。
- 多数の台をネットワークで束ね、1つの大きな記憶装置として見せるソフトと組み合わせて使います。
- AIでは、学習データの読み出し、学習の途中保存、推論の途中結果の退避の3つの役を担います。
- デルの5〜7月期のストレージの売上は48億5,000万ドルで、前年同期比26%増でした。
データセンターのサーバーには、計算を担うものと、データの保管を担うものがあります。後者がストレージサーバーです。CPUやメモリは控えめにし、そのかわりSSDやHDDを1台に何十台も積みます。高速のネットワークの口を持ち、多数の計算用のサーバーから同時に読み書きを受け付けます。
束ねて1つに見せる
1台のストレージサーバーの容量には限りがあります。そこで、何百、何千台を束ね、利用者からは1つの大きな記憶装置に見えるようにします。これを担うのが分散ファイルシステムなどのソフトです。データを細かく分けて多数の台に散らし、同じデータの写しや復元用の情報を別の台にも置きます。1台が壊れてもデータは失われず、多数の台から同時に読むことで速さも稼げます。
記憶の装置は、速さと値段で使い分けます。頻繁に読み書きするデータはSSDに、めったに使わない大量のデータはHDDに置くのが一般的です。
AIでの3つの役
| 役割 | 中身 | 求められること |
|---|---|---|
| 学習データの供給 | 文章や画像などの学習用データをGPUに渡す | 大量のデータを途切れず読み出す |
| 途中保存(チェックポイント) | 学習の途中の状態を書き出す | 短い時間に集中する書き込みに耐える |
| 推論の途中結果の退避 | 使っていないKVキャッシュを置いておく | 必要な時にすぐGPUに戻す |
メタの学習の基盤
メタが2024年7月に公表したLlama 3の論文は、学習に使った記憶の基盤を説明しています。自社の分散ファイルシステム「Tectonic」を使い、SSDを積んだ7,500台のサーバーで240ペタバイトの容量を持ちます。1台あたり平均32テラバイトです(計算)。書き込みの速さは、持続して毎秒2テラバイト、最大で毎秒7テラバイトです。
一番の難題は、途中保存の書き込みが短い時間に集中し、帯域を埋めてしまうことでした。保存の量はGPU1基あたり1MB〜4GBで、1万6千基が一斉に書き込みます。
推論の記憶の層
推論でも記憶装置の役割が増えています。エヌビディアは2026年1月、言語モデルの途中の結果(KVキャッシュ)をGPUの外に置く「推論文脈メモリ記憶」の基盤を示しました。データの出し入れは、新しいDPUのBlueField-4が受け持ちます。会社は、従来の記憶装置の使い方に比べ、1秒あたりの生成量が最大5倍になるとしています。同社の推論ソフトDynamoも、使っていないKVキャッシュを安い記憶の層に移す機能を持ちます。2025年3月のDynamoの発表には、記憶装置の米ネットアップや米VASTデータが協力の企業として名を連ねました。
機器を売る会社の数字も伸びています。米デル・テクノロジーズの2026年5〜7月期のサーバー・ストレージ部門の売上は317億8,200万ドルで、前年同期比89%増でした。うちストレージは48億5,000万ドルで26%増です。
関連する用語
- 分散ファイルシステム:多数の台を1つの記憶装置に見せるソフト。
- SSD:NANDフラッシュで作る記憶装置。速いが容量あたりは高い。
- HDD:回転する磁気の円盤の記憶装置。容量あたりが安い。
- チェックポイント:学習の途中の状態の保存。
デルの同じ部門のうち、AI向けを除く従来型のサーバーとネットワークの売上は105億3,100万ドルで、122%増でした。
この記事は公開資料をもとに作成しています。売買をすすめるものではありません。誤りを見つけたら訂正します(編集方針)。
関連する記事
チェックポイントとは 故障に備えた学習の途中保存、Llama 3は1日平均7.8回止まった
チェックポイントは、AIの学習の途中の状態を保存し、止まった時にそこから再開するための仕組みです。メタはLlama 3 405Bの学習で、54日間に419回の想定外の中断があったと報告しています。
SmartNICとは 通信の周りの仕事をサーバーから引き取る、BlueField-4は前世代のコア4倍
SmartNICは、ネットワークカードに計算の回路を積み、通信の周りの仕事をサーバーのCPUから引き取る部品です。エヌビディアのBlueField-4は64コアのGraceのCPUを積み、BlueField-3の16コアの4倍にしました。
分散学習とは 1つのモデルを数万基のGPUに分ける、メタのLlama 3は4種類の分け方を併用
分散学習は、1つのAIのモデルの学習を多数のGPUに分けて同時に進める方法です。メタはLlama 3 405Bを最大1万6千基のH100で学習し、4種類の分け方を組み合わせ、GPUの計算能力の38〜43%を引き出しました。
建設のリードタイムとは TSMC熊本は着工から開所まで約1年10か月、アリゾナは発表から量産まで約4年半
建設のリードタイムとは、工場やデータセンターの着工から稼働までにかかる時間です。TSMCの熊本の第1工場は2022年4月に着工し、2024年2月に開所式を開きました。