推論モデルとは　DeepSeek-R1は数学の試験で正答率79.8%、考える分だけ計算が増える

推論モデルとは、質問を受けてすぐに答えず、まず考える過程の文章を生成し、そのあとで答えを書くAIのモデルです。英語では「reasoning model」と呼びます。ここでの「推論」は、学習済みのモデルを動かすという意味の推論（インファレンス）とは別の意味です。

考える文章を自分で書いて使う

普通の大規模言語モデルは、質問に続く答えの語を1つずつ予測して並べます。推論モデルも仕組みは同じですが、答えの前に、問題を分けたり、途中の計算をしたり、自分の誤りを見直したりする文章を書くのが違いです。後から書く語は前の語を参照できるため、長い手順の問題で正答が増えます。

この「考える」くせは、主に強化学習で身につけさせるものです。正しい答えに報酬を与えて学習を続けると、モデルは長く考えるほうが報酬を得やすいことを覚えていきます。DeepSeekは2025年1月の論文で、学習が進むにつれて答えが長くなり、考える時間を自然に増やすようになったと書いています。

DeepSeekの論文が示した数学の試験の成績（AIME 2024、1回目の正答率）

モデル	正答率
DeepSeek-R1-Zero（強化学習の開始時）	15.6%
DeepSeek-R1-Zero（強化学習の終了時）	71.0%
DeepSeek-R1	79.8%
OpenAI o1-1217（論文での比較相手）	79.2%

R1-Zeroは、64回答えさせて多数決をとると86.7%まで上がりました。数学の問題集MATH-500では、R1が97.3%、o1-1217が96.4%でした。

半導体にとっての意味

考える文章は、利用者に見せるかどうかに関係なく、GPUが1語ずつ計算して作ります。1つの質問あたりに作るトークンが数倍から数十倍に増えれば、その分だけ推論のための計算とメモリの読み出しが増えます。

AnthropicのAPIの説明では、考える量の上限（budget_tokens）は1,024トークン以上で、出力の上限より小さくする決まりです。考えに使ったトークンは、出力のトークンとして料金に入ります。32,000トークンを超えて考えさせる場合は、接続の切れを避けるため一括処理を使うよう案内しています。新しいモデルでは上限を指定する方式をやめ、モデルが問題に応じて考える量を決める「適応型」に移りました。

関連する用語

• 思考の連鎖（Chain of Thought）：途中の考えを文章で書かせる手法。推論モデルはこれを学習で身につけたもの。
• 強化学習：正しい答えに報酬を与え、報酬が増える出し方を学ばせる方法。
• テスト時の計算（test-time compute）：学習ではなく、答えるときに使う計算の量。
• オープンウエイトモデル：DeepSeek-R1は重みをMITライセンスで公開しています。

DeepSeek-R1の論文の第1版は、2025年1月22日にarXivに掲載されました。