MFUとは　GPT-3は21.3%、PaLMは46.2%、Llama 3は38〜43%

MFU（Model FLOPs Utilization、モデル演算利用率）とは、AIの学習で、チップの理論上の計算能力のうち、モデルの計算に使えた割合のことです。カタログの性能が同じGPUでも、使い方しだいで実際の学習の速さは2倍近く変わります。その差を1つの数字で表します。

計算の仕方

分子は、実際に1秒間に処理できたトークンの数です。分母は、チップが公表上の最大の演算性能で動いた場合に、そのモデルで1秒間に処理できるトークンの数です。分母はモデルの形とチップの公表値だけで決まります。このため、違うチップや違う会社の学習を同じ物差しで比べられます。

似た指標にHFU（ハードウェア演算利用率）があります。HFUは、メモリを節約するために計算をやり直した分も数えます。PaLMのHFUは57.8%で、MFUより11.6ポイント高くなります（計算）。MFUは、やり直しの計算を数えない分、厳しめの数字になります。

公表された数字

大きな言語モデルの学習のMFU

モデル	パラメータ	チップ	MFU
GPT-3	1750億	V100	21.3%
Gopher	2800億	TPU v3	32.5%
Megatron-Turing NLG	5300億	A100	30.2%
PaLM	5400億	TPU v4	46.2%
Llama 3 405B	4050億	H100	38〜43%

PaLMは6144個のTPU v4で学習し、平均で毎秒23万8300トークンを処理しました。グーグルは、高いMFUの理由として、並列の分け方、TPU向けのコンパイラXLAの最適化、層の計算を並べて進める設計を挙げています。

メタのLlama 3では、8192基のときに1基あたり430テラFLOPSでMFUは43%でした。1万6384基に増やすと400テラFLOPSで41%に下がりました。13万1072トークンの長い文脈で学習した段階では、380テラFLOPSで38%でした。台数を増やすほど、通信の待ちが増えて利用率が下がる形です。

関連する用語

• FLOPS：1秒あたりの浮動小数点の演算の回数です。チップの性能の公表値に使われます。
• GPUの稼働率：GPUが止まらずに動いている時間の割合です。MFUは、動いている間の中身の効率を見ます。
• データ並列・モデル並列：学習を多数のチップに分ける方法です。分け方でMFUが変わります。

PaLMの論文は2022年4月、Llama 3の論文は2024年7月に公開されました。