トークン

トークンって何？

ChatGPTがあなたの日本語を読んでいると思うかもしれませんが、実はモデルは「文字」を知りません。送った文章はまず細かい断片に切り分けられます。その断片こそがトークンです。ひらがなや漢字は1文字あたり1〜数トークン、英単語は1単語あたり1〜数トークンになります。
モデルが処理するのは「単語」ではなく、このトークンなのです。

なぜ大事なのか

コストと長さを決める
APIの料金、無料枠の文字数制限、コンテキストの上限。その正体はすべてトークンの計算です。モデルはトークン単位で課金し、一度に受け取れるトークン数にも上限があります。
言語によって「お得さ」が違う
言語ごとにトークンへの切れ方が違います。同じ内容でも言語によってトークン数が変わり、料金に静かに効いてきます。

わかりやすい例

「りんごが好き」は「りんご」「が」「好き」など数トークンに分かれます。「りんごが大好き」だとさらに増える。細かく切るほどモデルは正確に読めますが、コストも時間も増えます。

まとめ：トークンはAIの「単位」。払う料金も、占めるコンテキストも、すべてトークンで静かに数えられています。