長い文脈とは　グーグルとアンソロピックは100万トークンに　20万を超えると料金は2倍

長い文脈とは、AIモデルに一度に渡せる入力の量を大きくした状態のことです。契約書の束、ソースコードの全体、長い会議の録音を、切り分けずにそのまま読ませられます。利用者には便利ですが、半導体の側から見ると、計算とメモリの負担が大きく増えます。

長くすると何が重くなるか

いまの言語モデルは、文章の中の全部の語どうしの関係を計算します。この部分の計算量は、文章の長さの2乗に比例して増えます。長さが2倍なら、この部分は4倍です。

メモリも増えます。読み込んだ語ごとの途中結果（KVキャッシュ）を、答えを出し終えるまでGPUのメモリに置いておくからです。長い文脈の要求が1件入ると、同じGPUで同時にさばける件数が減ります。

学習でも同じです。メタは、Llama 3 405Bの学習で、13万1072トークンの長い文章を扱った段階では、GPUの演算の利用率（MFU）が38%だったと公表しました。通常の長さの段階の41〜43%より下がっています。

各社の長さと料金

長い文脈を公表した例

会社・モデル	発表	最大の文脈	会社の説明
グーグル Gemini 1.5 Pro	2024年2月	100万トークン	動画1時間、音声11時間、コード3万行超
アンソロピック Claude Sonnet 4	2025年8月	100万トークン	コード7万5千行超、論文数十本

グーグルは、研究段階では1000万トークンまで試したとしています。100万トークンの文章の中に埋めた一文を探す試験では、99%の確率で見つけたと説明しました。通常の提供は12万8000トークンから始めました。

アンソロピックのAPIの料金は、20万トークン以下の入力なら100万トークンあたり入力3ドル・出力15ドルです。20万トークンを超えると入力6ドル・出力22.5ドルになります。長い入力ほどGPUの時間とメモリを使うことが、料金に表れています。

関連する用語

• KVキャッシュ：読み込んだ語ごとの途中結果を置くメモリです。文脈の長さに比例して大きくなります。
• アテンション：語どうしの関係を計算する部分です。長さの2乗で重くなります。
• トークン：AIが文章を扱う単位です。グーグルは100万トークンを70万語超と説明しています。