エッジAIとは　ロボット用のJetson Thorは最大130Wで、前の世代の7.5倍の性能

エッジAIとは、AIの推論を、クラウドのデータセンターではなく、データが生まれる現場の機器の中で行うことです。工場のカメラが不良品を見分ける、車が歩行者を見つける、ロボットが物をつかむ、といった処理がその例です。

クラウドのAIとの違い

クラウドのAIとエッジAIの比べ方

項目	クラウドのAI	エッジAI
計算する場所	データセンターのGPU	機器の中のSoC、NPU、小型のGPU
使える電力	サーバー1台で数キロワット以上	数ワット〜百数十ワット
通信	必要	なくても動く
応答の遅れ	通信の往復の分だけ遅れる	小さい
データ	外に送る	機器の中にとどまる

エッジでは使える電力が小さく、冷却も限られます。そのため、学習はクラウドで行い、できあがったモデルを小さくしてから機器に入れるのが一般的です。モデルの数値を16ビットから8ビットや4ビットに減らす「量子化」や、大きなモデルの答え方を小さなモデルに学ばせる「蒸留」を使います。

半導体の側の作り

エッジAIの半導体は、CPU、GPU、AIの計算に特化した回路（NPU）、画像の処理の回路などを1つのチップにまとめたSoCが中心です。スマホのチップ、車載のチップ、産業用のマイコンにも、AI向けの回路が入るようになりました。

上位の例が、エヌビディアがロボット向けに出したJetson AGX Thorです。

エヌビディアJetson Thorの主な仕様（同社の製品ページから）

項目	AGX Thor（T5000）	T4000
AIの性能（FP4、疎）	2,070テラフロップス	1,200テラフロップス
GPU	Blackwell 2,560コア	Blackwell 1,536コア
CPU	Arm Neoverse-V3AE 14コア	Arm Neoverse-V3AE 12コア
メモリ	128GB（LPDDR5X）	64GB（LPDDR5X）
消費電力	40〜130W	40〜70W

エヌビディアは、AGX Thorは前の世代のAGX Orinと比べて性能が7.5倍、電力あたりの効率が3.5倍だとしています。メモリが128GBあると、画像と言葉を同時に扱うような大きめのモデルも、ロボットの中に置きやすくなります。データセンターのDGX B200が最大約14.3キロワットを使うのと比べると、電力は100分の1程度（計算）です。

関連する用語

• NPU：AIの計算に特化した回路。スマホやパソコンのチップに入る。
• 量子化：モデルの数値の桁を減らし、メモリと計算を軽くする方法。
• フィジカルAI：ロボットや自動運転のように、現実の物を動かすAI。
• SoC：CPU、GPU、NPUなどを1つのチップにまとめた半導体。

エヌビディアはJetson Thorを、提携する販売店を通じて販売しています。