トークン処理量

トークン処理量（スループット）って何？

AIサービスが「どれだけ速いか」を尋ねるとき、実は見ているのがトークン処理量（Token Throughput）。単位時間にシステムが処理できるトークンの数で、ふつう「毎秒何トークン（tokens/s）」で表します。数字が大きいほど、同じ仕事を速くこなせます。

レイテンシとは違う？

別物ですが、関係はあります
レイテンシは「1つのリクエストを送ってから受け取るまでの時間」、処理量は「全体で毎秒どれだけ処理できるか」。宅配に例えるなら、レイテンシは「あなたの荷物が何日で届くか」、処理量は「倉庫が1日に何個発送できるか」。処理量が高ければ、大勢が同時に使っても持ちこたえられます。

処理量を左右するもの

ハードウェアと計算資源
GPUが多く強いほど、同時に計算できるトークンが増えます。
モデルの大きさ
大きなモデルは1トークンの計算コストが高く、同じハードでは処理量は下がりがちです。
バッチ処理と並列化
複数のリクエストをまとめて処理すると、処理量は大きく上がります。
最適化技術
量子化、投機的デコーディング、KVキャッシュなども処理量を押し上げます。

なぜ大事なのか

利用者にとって、処理量不足は「待ち」「カクつき」「長い待ち時間」に直結します。提供者にとって、処理量はコストを決めます。同じ計算資源で処理量が高いほど、1トークンあたりのサービスコストは下がり、安くて流量に耐えられる製品になります。

まとめ：トークン処理量とはAIの「仕事の速さ」。毎秒のトークンが多いほど、サービスは速く、負荷にも強くなります。