ファームウェアとは 半導体の部品に組み込む土台のソフト、GPUやSSDやNICの中で動く
ファームウェアは、半導体の部品の中に書き込まれ、その部品を動かすための基本のソフトです。メタは、ファームウェアの更新などの計画した作業で、Llama 3の学習が54日間に47回止まったと報告しています。
- ファームウェアは、部品の中の小さなメモリに入っていて、電源を入れるとまず動く土台のソフトです。
- AIのサーバーでは、CPU、GPU、SSD、NIC、管理用のチップなど、ほぼすべての部品にファームウェアがあります。
- メタのLlama 3の学習では、ファームウェアやLinuxの更新などの自動保守で、少なくとも1日1回は学習が止まりました。
- 改ざんを防ぐため、起動の時にファームウェアを確かめる「信頼の起点」の回路を半導体に組み込む動きがあります。
ファームウェアは、ハードとソフトの中間にあるソフトです。部品のメーカーが作り、部品の中のフラッシュメモリなどに書き込んで出荷します。利用者がふだん目にすることはありませんが、部品が正しく動くための細かな手順を受け持っています。
電源を入れてから
サーバーの電源を入れると、まずCPUの中の書き換えのできない小さなプログラムが動きます。それがフラッシュメモリのファームウェアを読み込み、メモリや周りの部品を使える状態にします。その後でOSが起動し、OSの中のドライバが各部品と話し始めます。
部品の側にもそれぞれのファームウェアがあります。SSDでは、どのデータをフラッシュのどこに書くか、劣化した場所をどう避けるかを、内部の制御のチップのファームウェアが決めます。NICでは、届いた通信の処理の手順が、GPUでは、電力や温度の管理などがファームウェアで動きます。
| 部品 | ファームウェアの主な仕事 |
|---|---|
| CPUと基板(BIOS・UEFI) | 起動の手順、メモリの初期化 |
| 管理用のチップ(BMC) | 電源や温度の監視、遠隔からの操作 |
| GPU | GPUの中の管理用の処理装置で、電力や動作を制御 |
| SSD | 書き込み先の管理、劣化した場所の回避 |
| NIC・DPU | 通信の処理、暗号、仮想化の補助 |
更新が止める計算
ファームウェアは不具合の修正や性能の改善のために更新されます。更新には部品の再起動が要ることが多く、その間は使えません。
メタが2024年7月に公表したLlama 3の論文は、1万6千基のH100で学習した54日間に、計466回の中断があったと記しています。そのうち47回は、ファームウェアの更新などの自動の保守や、設定の変更による計画した中断でした。論文は、ファームウェアやLinuxのカーネルの更新を自動で進めたことで、少なくとも1日1回は学習が止まったとしています。それでも、学習に使えた時間の比率は90%を超えました。計画外の中断419回の原因の表には、GPUの中の管理用の処理装置(GPUシステムプロセッサー)の不具合が4.1%ありました。
改ざんを防ぐ仕組み
ファームウェアはOSより下で動くため、書き換えられるとOSの側からは見つけにくい弱点があります。AWSは、自社の基盤「Nitro System」で、サーバーの部品とファームウェアを常に監視し、確かめていると説明しています。
半導体の中に、起動の時にファームウェアの中身を測って確かめる回路を組み込む取り組みもあります。「Caliptra」は、データセンター向けのCPU、GPU、DPU、TPUを対象にした公開の「信頼の起点(ルート・オブ・トラスト)」の設計です。業界団体のOpen Compute Projectで始まり、今はCHIPS Allianceで開発が続きます。2.0版では、量子計算機でも破られにくい署名(ML-DSA)でファームウェアを確かめる機能が加わりました。
関連する用語
- BIOS・UEFI:パソコンやサーバーの起動を受け持つファームウェア。
- BMC:サーバーの状態を監視し、遠隔で操作するための管理用のチップ。
- ドライバ:OSの中で部品とやりとりするソフト。ファームウェアの一つ上の層。
- ルート・オブ・トラスト:起動の時に最初に信頼できる部分。そこから順にソフトを確かめる。
Caliptraの最新の2.1版は、暗号の鍵の受け渡しにも量子計算機に強い方式(ML-KEM)を加えています。
この記事は公開資料をもとに作成しています。売買をすすめるものではありません。誤りを見つけたら訂正します(編集方針)。
関連する記事
ドライバとソフトウェアの層とは GPUとAIの応用の間に何段もの層、版の組み合わせが条件に
ドライバは、OSの中で半導体の部品とやりとりを受け持つソフトで、AIの計算はその上に何段もの層を積んで動きます。エヌビディアのCUDAの13系は、ドライバの580番台以上を必要とします。
DFT(テスト容易化設計)とは 回路に検査用の通り道を作る、数十億トランジスタの良品判定
DFT(テスト容易化設計)は、半導体を作った後の検査を速く確実にするため、検査用の回路を設計の段階で組み込む手法です。テスターの最大手アドバンテストは、2026年のロジック向けテスターの市場を115億ドル近辺と見ています。
チェックポイントとは 故障に備えた学習の途中保存、Llama 3は1日平均7.8回止まった
チェックポイントは、AIの学習の途中の状態を保存し、止まった時にそこから再開するための仕組みです。メタはLlama 3 405Bの学習で、54日間に419回の想定外の中断があったと報告しています。
建設のリードタイムとは TSMC熊本は着工から開所まで約1年10か月、アリゾナは発表から量産まで約4年半
建設のリードタイムとは、工場やデータセンターの着工から稼働までにかかる時間です。TSMCの熊本の第1工場は2022年4月に着工し、2024年2月に開所式を開きました。