合成データとは　マイクロソフトのPhi-4は学習の4割、エヌビディアは調整用の98%超

合成データとは、実際の観測や人の作業ではなく、計算によって作ったデータのことです。言語モデルの分野では、大きなモデルに問題と答え、説明の文章を書かせ、それを別のモデルの学習に使う形が中心です。ウェブの文章を言い換えて読みやすくしたものも含めます。

どう作るか

手順は大きく3つです。まず、教える役のモデルに、題材や難しさを指定して問題や文章を書かせます。次に、プログラムで答えを確かめたり、採点用のモデルで評価したりして、質の低いものを捨てます。最後に、残ったものを学習用のデータとして混ぜます。

数学やプログラムのように、答えが正しいかを機械で確かめられる分野で使いやすい方法です。人の書いた文章では足りない分野を、狙って厚くできます。

マイクロソフトのPhi-4

マイクロソフトは2024年12月、140億パラメータのPhi-4の技術報告を公開しました。学習の全体を通じて合成データを使ったと説明しています。

Phi-4の事前学習のデータの内訳（学習に使ったトークンの比率）

データの種類	比率
合成データ	40%
プログラムのコード	20%
ウェブの文章	15%
ウェブの文章の書き直し	15%
購入などで得た資料	10%

合成データは50種類で、合計は約4000億トークン（重みづけ前）です。学習は約10兆トークン分行いました。マイクロソフトは、理科・数学系の質問への答えで、Phi-4が教える役に使ったGPT-4を大きく上回ったとしています。

エヌビディアのNemotron-4 340B

エヌビディアは2024年6月、Nemotron-4 340Bの基本・指示・採点の3つのモデルを公開しました。合成データを作る一連の道具として使えると説明しています。論文では、人の好みに合わせる調整の工程で使ったデータの98%超を合成で作ったとしています。

エヌビディアにとって、合成データは自社のGPUの使い道を増やす面もあります。データを作る段階で大きなモデルを推論で回し、その後に学習で回すからです。

関連する用語

• 学習データの不足：人が書いた質の高い文章の量に限りがあるという問題です。
• 蒸留：大きなモデルの出力を使って、小さなモデルを学習させる方法です。
• 評価ベンチマーク：合成データの問題が試験問題と似すぎると、点数が実力より高く出るおそれがあります。