大規模言語モデル（LLM）とは　2017年のTransformerから、利用者10億人のGeminiまで

大規模言語モデル（Large Language Model、LLM）は、大量の文章を学習して、人の言葉を読んだり書いたりできるようにしたAIモデルです。OpenAIのGPT、AnthropicのClaude、グーグルのGemini、メタのLlamaなどがあります。対話のサービスやプログラムの作成支援、文書の要約などの中身に使われています。

仕組み　次のトークンを当て続ける

LLMの事前学習は、文章の途中までを見せて、次に来るトークン（単語やその一部）を当てる問題の繰り返しです。正解とのずれが小さくなるように、モデルの中の数値（パラメータ）を直していきます。答えを書くときも、最も確からしい次のトークンを1つずつ選んで並べます。

この計算の土台が、グーグルの研究者らが2017年6月に公開した論文「Attention Is All You Need」で示したTransformerです。文章の中のどの語がどの語と関係が深いかを計算する「注意（アテンション）」の仕組みを中心に置きました。論文では、英仏の翻訳の試験で41.8の成績（BLEU）を、8基のGPUで3.5日の学習で達成しています。計算を並べて同時に進めやすい構造だったことが、GPUでの大規模な学習につながりました。

事前学習の後には、人の手本や評価を使って、質問に沿った答え方を身につけさせる事後学習を行います。

規模の推移

LLMの節目（論文・会社の公表値）

年月	出来事	数字
2017年6月	Transformerの論文の公開	翻訳の試験で8GPU・3.5日の学習
2020年5月	GPT-3の論文の公開	1750億パラメータ
2024年7月	メタがLlama 3.1を公開	最大4050億パラメータ、15兆トークン超で学習
2026年10月	アルファベットの決算発表	Geminiのアプリの利用者10億人

使われ方と半導体

LLMは、利用者が増えるほど推論の計算が増えます。アルファベットのスンダー・ピチャイCEOは10月28日、自社モデルのAPIが1分あたり約320億トークンを処理していると述べました。AnthropicのClaude Opus 5.5は、API経由で使う料金が入力100万トークンあたり4ドル、出力20ドルです。

大きなLLMを動かすには、計算の速いGPUなどのAIアクセラレーターと、パラメータを置く大容量のHBMが要ります。メタのLlama 3.1 405Bの学習には、エヌビディアのH100を延べ3084万GPU時間使いました。

関連する用語

• トークン：LLMが文章を扱う単位。
• マルチモーダル：文章に加え、画像や音声も扱えること。
• ファインチューニング：学習済みのLLMを特定の用途に合わせて追加で学習させること。
• RAG：外部の文書を検索して答えに使う仕組み。

グーグルは11月12日に「Gemini 4 Hydrogen」を公表し、API料金を入力100万トークンあたり1.50ドル、出力7.50ドルとしました。