【初心者エンジニア向け】生成AIの「トークン数」とは？日本語と英語でどう違うのかをわかりやすく解説！
山崎講師
こんにちは。ゆうせいです。
今回は「トークン数」というちょっと聞き慣れない言葉について、できるだけわかりやすく、例を交えながら解説していきます。
生成AI、特にChatGPTのようなAIでは、この「トークン数」がとても重要な意味を持っています。でも……
「トークンって何？」
「なんで日本語と英語で違うの？」
と思ったことはありませんか？
そんな疑問に、ひとつひとつ丁寧に答えていきますね。
トークン数とは何か？
トークン＝AIが文章を理解するための「かけら」
まず、「トークン」というのは、AIが文章を理解するために分割した言葉の単位のことです。
例えるなら、文章を「レゴブロック」みたいに小さなピースに分解しているようなもの。
このピース一つひとつが「トークン」なんです。
実際の例で見てみましょう
英語の文：
I love you.
この文章は、以下のようにトークンに分けられます：
Iloveyou.
➡ 合計 4トークン
日本語の文：
私はあなたを愛しています。
この文章もトークンに分解されますが、英語よりもトークン数が多くなる傾向があります。
一例として、
私はあなたを愛しています。
➡ 合計 9トークン
※ 実際の分け方は、使用しているAIモデル（たとえばOpenAIのGPT-3やGPT-4）によって細かく異なりますが、大体このくらいになります。
なぜ日本語はトークン数が多くなるのか？
理由1：英語はスペースで単語が区切られているから
英語では「I love you.」のように、単語と単語の間にスペース（空白）がありますよね。
AIはこのスペースを目印にして簡単に単語を区切ることができます。
ところが日本語にはスペースが基本的に存在しないので、「私はあなたを愛しています。」のように、どこからどこまでが単語なのかをAIが判断するのが難しくなります。結果として、より細かく分ける必要があるんですね。
理由2：日本語は表現が複雑で形が多様
たとえば「食べる」「食べました」「食べさせられた」など、日本語は活用形が豊富です。
このような複雑な表現も、AIにとっては複数のトークンに分ける必要がある場合があります。
トークン数が多いと何が問題なのか？
ここで気になるのが、「で、トークン数が多いと何が起こるの？」ということですよね。
問題点1：処理コストが増える
AIはトークンを一つずつ処理していくので、トークン数が増えると処理にかかる時間やコストも増加します。
問題点2：入力制限に引っかかる
ChatGPTなどでは、「一度に処理できるトークン数の上限」が決まっています。
たとえばGPT-4では、最大128,000トークン（2024年現在の一部モデル）が限界です。
日本語は英語よりもトークン数が多くなりがちなので、同じ内容でも日本語だと制限に早く到達してしまうということになります。
日本語と英語の比較表
| 言語 | 例文 | トークン数（目安） |
|---|---|---|
| 英語 | I love you. | 4 |
| 日本語 | 私はあなたを愛しています。 | 9 |
| 英語 | Thank you for your help. | 6 |
| 日本語 | ご協力いただきありがとうございます。 | 12以上 |
※トークン数はAIのトークナイザーにより異なります。これはあくまで参考値です。
数式で表すと？
AIが文章を扱うときの負荷は、ざっくり言えば以下のように表現できます：
処理負荷 ≈ トークン数 × 処理単価
これを日本語で言い換えると、
処理の重さ ≈ トークンの数 × 1個あたりの処理の重さ
つまり、トークン数が増えると、それだけAIの計算も大きくなるということです。
まとめと今後の学習のヒント
ここまでで、「トークン」とは何か、そしてなぜ日本語のほうがトークン数が多くなりがちなのかがわかったかと思います。
最後にポイントをおさらいしましょう：
- トークンは、AIが文章を理解するための「最小単位」
- 英語はスペースで単語を区切るため、トークンが少なめ
- 日本語は複雑でスペースもないため、トークン数が多くなる
- トークン数が多いと、処理コストや制限への影響が出る
次に学ぶなら？
次のステップとしては、以下のようなテーマを学ぶとより理解が深まります：
- トークンカウントツールの使い方（実際に文章のトークン数を測る方法）
- GPTの「コンテキスト長」とは何か
- プロンプトの最適化（プロンプトエンジニアリング）
- 多言語対応AIとトークンの関係
どれもとても面白い分野なので、ぜひ少しずつ学んでいきましょう！
ほかにも気になることがあれば、いつでも聞いてくださいね。
生成AI研修のおすすめメニュー
投稿者プロフィール
