トークンとは　英語なら約4文字で1トークン、料金は100万トークンあたりで決まる

トークンは、AIの言語モデルが文章を扱うときの単位です。モデルは文章をそのまま読むのではなく、まずトークンと呼ぶ小さな断片に分け、それぞれを番号に置き換えて計算します。トークンは単語1つのこともあれば、単語の一部や記号のこともあります。

仕組み　よく出る並びを1つにまとめる

文章をトークンに分ける道具をトークナイザーと呼びます。学習に使う大量の文章の中でよく出てくる文字の並びを、1つのトークンとして登録しておきます。よく使う単語は1トークン、珍しい単語は複数のトークンという分かれ方です。そのため、同じ内容でも言語によってトークンの数が変わります。

グーグルは開発者向けの説明で、Geminiでは1トークンが約4文字に当たり、100トークンは英単語で60〜80語ほどだとしています。

文章以外もトークンに直す

画像や音声、動画を入力できるモデルでは、それらもトークンに直して数えます。グーグルの説明では、Geminiの場合は次のとおりです。

Geminiでのトークンの数え方（グーグルの開発者向け資料）

入力	数え方
文章	1トークンが約4文字。100トークンで英単語60〜80語
画像	縦横とも384ピクセル以下なら258トークン。大きい画像は768×768の区画ごとに258トークン
音声	1秒あたり32トークン
文脈の上限	Gemini 4は入力・思考・出力の合計で104万8576トークン

料金と処理量の物差し

AIのAPIの料金は、入力と出力のトークン100万個あたりの値段で決まります。出力の方が高く設定されるのがふつうです。Anthropicが9月22日に出したClaude Opus 5.5は入力4ドル、出力20ドルです。グーグルが11月12日に出したGemini 4 Hydrogenは入力1.50ドル、出力7.50ドルで、100万トークンの文脈のどこまで使っても同じ値段としています。

トークンは、データセンターの仕事量を表す数字にもなっています。アルファベットは10月28日の決算発表で、自社モデルのAPIが1分あたり約320億トークンを処理していると明らかにしました。東京エレクトロンは10月30日の説明会資料で、トークンの量の増加と演算の複雑化がAIのインフラ全体の半導体の需要を引っ張っていると説明しています。

関連する用語

• コンテキストウィンドウ：モデルが一度に扱えるトークンの数の上限。
• 推論：トークンを1つずつ出して答えを書く計算。
• キャッシュ：同じ入力を繰り返し使う時に、計算の結果を保存して料金を下げる仕組み。Opus 5.5のキャッシュの読み出しは100万トークンあたり0.20ドルです。

グーグルの説明では、Gemini 3と2.5のモデルは入力104万8576トークン、出力6万5536トークンと、別々に上限を設けています。