InfiniBandとは　エヌビディアが70億ドルで手に入れた、1ポート毎秒800ギガビットの網

InfiniBandとは、たくさんのサーバーを、遅延を小さく保ったままつなぐためのネットワークの規格です。AIの学習では、数千から数万のGPUを積んだサーバーをこの網でつなぎ、1つの大きな計算機として動かします。

遅れを減らす仕組み

普通の社内ネットワークで使うイーサネットは、データが途中で失われても、あとから送り直して帳尻を合わせる設計です。InfiniBandは、受け手に空きがあることを確かめてから送る仕組み（クレジット方式）をとり、途中でデータを捨てない前提で作られています。

もう一つの柱がRDMA（リモート・ダイレクト・メモリ・アクセス）です。あるサーバーのネットワーク部品が、相手のサーバーのメモリに直接データを書き込みます。相手のCPUやOSを通さないため、待ち時間が短くなります。

AIの学習では、各GPUが計算した結果を全体で足し合わせる処理を、学習の1回ごとに繰り返します。エヌビディアのInfiniBandのスイッチは、この足し合わせの一部をスイッチの中で済ませる機能（SHARP）を備えた製品です。データがスイッチを往復する回数が減ります。

今の製品の数字

エヌビディアのInfiniBand製品とメラノックス買収（同社の発表と製品ページから）

項目	数字
Quantum-X800スイッチのポート数	144
1ポートの速さ	毎秒800ギガビット
スイッチ1台の合計	毎秒115.2テラビット（計算）
ConnectXのネットワークカード（GPU1基あたり）	最大毎秒1.6テラビット
メラノックス買収の取引額	70億ドル
買収の発表／完了	2019年3月11日／2020年4月27日

スイッチの中でのデータの足し合わせ（SHARP）は第4版になりました。エヌビディアは、光の部品をスイッチのチップのすぐ横に置く「シリコンフォトニクス」の版も用意し、電力と遅延を減らすとしています。

イーサネットとの競争

InfiniBandは、事実上エヌビディアの1社の製品です。クラウドの大手は、複数の会社から部品を買える標準のイーサネットを使いたいと考えてきました。そこでイーサネットをAI向けに改良する動きが進み、エヌビディア自身もAI向けのイーサネット製品「Spectrum-X」を売っています。サーバー内やラック内のGPU同士はNVLink、ラックとラックの間はInfiniBandかイーサネット、という使い分けが一般的です。

関連する用語

• RDMA：相手のメモリに、相手のCPUを通さずに直接データを書き込む方式。
• RoCE：RDMAをイーサネットの上で使う方式。
• スケールアウト：サーバーやラックの数を増やして、ネットワークでつないで計算の規模を広げること。
• SHARP：スイッチの中で、複数のGPUから届いた値を足し合わせる機能。

InfiniBandの規格は、業界団体のInfiniBand Trade Association（IBTA）が定めています。