蒸留とは　DistilBERTは4割小さく6割速く、元の97%の力を保った

蒸留（知識蒸留、knowledge distillation）は、性能の高い大きなモデルを「先生」、小さなモデルを「生徒」として、先生の出力を手本に生徒を学習させる手法です。大きなモデルの能力を、動かすのに必要な計算とメモリが少ない小さなモデルに移すことを目指します。

仕組み　正解だけでなく「迷い方」も教える

ふつうの学習では、生徒のモデルは正解のラベルだけを手本にします。蒸留で手本に加えるのは、先生のモデルが出す答えの確率の分布です。たとえば先生が「犬の確率80%、猫15%、車5%」と答えたなら、犬と猫が似ているという情報も生徒に伝わります。こうした細かな情報が、少ないパラメータでも先生に近い振る舞いを身につける助けになります。

言語モデルでは、先生のモデルに多くの質問への答えを書かせ、その答えの文章を生徒の学習データにする方法も広く使われます。

主な論文と事例

蒸留の主な論文と事例

名前	公開	内容
Distilling the Knowledge in a Neural Network（Hinton、Vinyals、Dean）	2015年3月	複数のモデルの知識を1つのモデルに圧縮。商用の音声認識のモデルで大きな改善
DistilBERT（Sanh ほか）	2019年10月	BERTより40%小さく60%速く、言語理解の力の97%を保つ
DeepSeek-R1-Distill	2025年1月	R1の答えで公開モデルを調整した15億〜700億パラメータの6モデル

2015年の論文で、ジェフリー・ヒントン氏らは、同じデータで学習した複数のモデルの予測を平均すると性能が上がるものの、全部を動かすと計算が重すぎると指摘しました。そこで、複数のモデルの知識を1つの扱いやすいモデルに圧縮する方法を示し、多くの人が使う商用の音声認識のモデルで大きな改善を得たと報告しています。

中国のDeepSeekは、推論モデルDeepSeek-R1が生成した答えの例を使い、アリババのQwen2.5やメタのLlamaをもとにした6つの小型版を公開しました。大きなモデルの推論の型を小さなモデルに移す方が、小さなモデルで一から強化学習をするより良い成績になったと説明しています。

半導体との関係

小さなモデルは、推論に必要なメモリと計算が少なく済みます。パラメータ1個を16ビットで持つと、80億パラメータのモデルは約16GB、4050億パラメータのモデルは約810GBです（計算）。小型のモデルなら1基のGPUやパソコン、スマートフォンの上でも動かしやすくなり、データセンターでは同じ設備でより多くの利用者に答えられます。

関連する用語

• ファインチューニング：学習済みのモデルを目的のデータで追加の学習をさせること。蒸留はその一種として行われることがあります。
• 量子化：数値を少ないビットで表してモデルを軽くする手法。
• パラメータ数：モデルの大きさを表す数値の個数。

DeepSeek-R1の本体は、全体で6710億、1トークンあたり370億のパラメータを使うMoEのモデルです。