トークンとは

言語モデルは、文章をそのまま読むわけではない。まず文章を細かい断片に分け、断片ごとに、モデルが持つトークンの一覧 (語彙) の番号に置き換えてから計算する。この断片がトークンで、文章をトークンに分ける仕組みをトークナイザーと呼ぶ。

米オープンAIは、トークンを「モデルが文章を処理する単位」と説明し、1文字、語の一部、語全体、句読点のいずれにもなるとしている。空白の有無も区切り方に影響するという。米アンソロピックも、トークンは語、語の一部、1文字のいずれかに当たり、場合によってはバイト (8ビットを1組にしたデータの単位) にもなると説明している。

トークン数は、文字数とも語数とも必ずしも一致しない。オープンAIによると、トークン数はモデルや符号化の方式で変わり、同じ内容でも言語によって異なる。同じ会社のモデルでも、世代が替わるとトークン数が変わることがある。アンソロピックによると、クロード4.7以降のモデルが使う新しいトークナイザーでは、同じ文章のトークン数が以前より約30%増える。

モデルは入力されたトークンの並びを読み、次に来る候補ごとに確率を計算して1つを選ぶ。選んだトークンを入力の末尾に加え、さらに次の1トークンを選ぶ。文章はこの繰り返しで1トークンずつ生成される。この方式を自己回帰生成と呼ぶ。

各社は英語について目安を示している。オープンAIは、英語では1トークンが約4文字、単語にして約4分の3語に当たり、100トークンは約75語になるとしている。米グーグルは、ジェミニでは1トークンが約4文字、100トークンが英語の約60〜80語に当たるとしている。アンソロピックは、クロード4.7より前のモデルでは1トークンが英語の約3.5文字に当たったとしている。

(出所: 各社のトークンの説明ページ。2026年10月13日時点)

日本語については、3社ともトークンの説明ページで、1文字が何トークンになるかの目安を示していない。手がかりになるのは、トークナイザーを日本語向けに変えた例だ。AI開発のELYZA (イライザ) によると、米メタの言語モデル「Llama 2」は語彙に日本語が少ないため、同じ内容を表すのに日本語は英語より多くのトークンを要した。同社は日本語の語彙を1万3,042個追加し、同じ日本語の文章に要するトークン数を従来の約55%に抑えた。トークン数が減った分を推論の速度に換算すると、約1.8倍に当たるという。

オープンAIも、2024年5月に公開したGPT-4oで新しいトークナイザーを採用した。同社が示した日本語の例文では、トークン数が従来の37から26に減った。英語の例文は27から24への減少で、減少率は日本語のほうが大きかった。料金はトークン数に応じて決まるため、同じ単価なら、トークン数が少ないほど同じ文章を安く処理できる。

いまの言語モデルの多くは、語をさらに細かく分けた「サブワード」をトークンにしている。サブワードをニューラル機械翻訳の単位にする方法を示したのが、英エディンバラ大学の研究者3人の論文だ。2015年8月に論文の公開サイトarXivに掲載され、2016年に計算言語学の国際学会ACLで採択された。論文は、ニューラルネットワークを使う翻訳モデルの語彙は通常3万〜5万語に限られる一方、翻訳では語彙にない語が次々に出てくると指摘した。そこで研究者らは、まれな語や未知の語をサブワードの組み合わせで表すことにした。

論文が使ったのは、BPE (バイト対符号化) と呼ぶ手法である。もとは1994年に発表されたデータ圧縮の手法で、データの中で最も多く現れる2バイトの組を、使われていない1バイトに置き換える作業を繰り返す。論文はこれを、バイトの代わりに文字や文字列の組を1つにまとめる方法に作り替えた。よく出る組み合わせほど1つのトークンにまとまり、まれな語は細かいトークンに分かれる。アンソロピックも、長いトークンは学習と推論の効率を高め、短いトークンはまれな語や学習で出合わなかった語を扱えるようにすると説明している。

空白で語を区切らない日本語のような言語でも使えるようにしたのが、グーグルの工藤拓氏らが2018年に発表したSentencePiece (センテンスピース) である。論文によると、それまでのツールは主に空白で語を区切る欧州の言語向けに作られており、日本語や韓国語、中国語では、あらかじめ別のツールで文章を単語に区切る必要があった。SentencePieceは、区切りを入れていない文章から直接学習でき、特定の言語に依存しない。空白も専用の記号に置き換え、ほかの文字と同じように扱う。論文は英語と日本語の間の機械翻訳で検証し、区切りを入れない文章から学習しても同等の精度が得られることを確かめた。

生成AIのAPIの料金は、使ったトークンの数に応じて決まる。単価は100万トークンあたりで示され、入力と出力で異なる。アンソロピックの料金表では、出力の単価は入力の5倍だ。

(100万トークンあたりの基本料金。出所: アンソロピックの料金ページ、2026年10月13日時点。料金は改定されることがある)

単価だけでは費用を比べられない。オープンAIは、100万トークンあたりの単価が安くても、支払う総額が少なくなるとは限らないと注意を促している。モデルによって同じ文章の区切り方が違い、出力する量も違うためだ。回答を出す前に考える過程で生じるトークン (推論トークン) も、回答には表示されないが、出力として料金がかかる。繰り返し使う入力をあらかじめ保存しておく機能 (キャッシュ) を使うと、その入力には別の単価が付くこともある。

一度に扱える文章の長さ (コンテキストウィンドウ) も、トークンの数で決まる。アンソロピックによると、オーパス5.5とソネット5.5が一度に扱える長さは100万トークンで、1回に出力できるのは最大12万8,000トークンだ。同社は、扱うトークンが増えると、正確さや前の内容を思い出す力が落ちるとも説明している。グーグルのジェミニは、文章以外のデータもトークンに換算する。縦横とも384ピクセル以下の画像は258トークン、動画は通常の処理で1秒あたり263トークン、音声は1秒あたり32トークンだ。

トークンが収益に変わる仕組みは、体系解説の「収益化の構造」の章で取り上げた。AIエージェントが使うトークンの多くが、読んだ内容の読み直しに費やされている実例は、エージェントのトークン費用を検証した記事で扱った。トークンから電力に至るAI投資の流れは、「AI投資の地図」の記事にまとめた。

トークンという語は、AI以外の分野でも使われる。インターネットで「トークン」を検索すると、AIと暗号資産の情報が混ざって表示されることがある。意味はまったく違う。

暗号資産の分野でいうトークンは、電子的に記録され、ネットワークを通じて移転できる価値を指すことが多い。資金決済法は、不特定の者との支払いや売買に使え、電子的に移転できる財産的価値を「暗号資産」と定めている。信託受益権やファンドの持ち分などの権利を電子的な記録で移転できるようにしたものは、金融商品取引法が「電子記録移転権利」と定めている。株式や社債をトークンにしたものは、この電子記録移転権利には含まれない。資産や権利を電子的な記録で表すことをトークン化と呼ぶ。米証券保管振替機関 (DTCC) による株式と米国債のトークン化は、別の記事で扱った。

OAuth 2.0は、利用者の許可を受けたアプリが、別のサービスに保管されたデータを使うための仕組みである。その仕様は、アクセストークンを、保護されたデータやサービスを利用するための資格情報と定め、アプリに与えられた認可を表す文字列だとしている。使える範囲と有効期間はトークンごとに決まる。AIのトークンとは、名前が同じだけで関係はない。

AIのトークンとは何か

生成AIの言語モデルが文章を処理する単位。区切り方はモデルごとに違い、同じ文でもモデルが替わればトークン数が変わる。APIの料金や一度に扱える文章の長さも、トークンの数で決まる。

日本語の1文字は何トークンか

オープンAI、グーグル、アンソロピックはいずれも、トークンの説明ページで日本語の目安を示していない。トークン数はモデルと言語で変わり、トークナイザーの違いでも大きく変わる。ELYZAは日本語の語彙を足して、同じ文章のトークン数を約55%に減らした。オープンAIのGPT-4oでは、日本語の例文が37トークンから26トークンに減った。

トークンと文字数の違いは

トークンの数は、文字数とも語数とも必ずしも一致しない。英語ではオープンAIとグーグルが1トークンを約4文字と示しているが、トークン数はモデルや符号化の方式、言語によって変わる。

AIのトークンと暗号資産のトークンは同じものか

別のものである。AIのトークンは文章を処理する単位で、暗号資産のトークンは電子的な記録で移転できる価値や権利を指す。日本の法律では、資金決済法が暗号資産を、金融商品取引法が電子記録移転権利を定めている。株式や社債をトークンにしたものは、電子記録移転権利に含まれない。