词元

词元是什么？

你以为 ChatGPT 在读你打的中文，其实它根本「不认识」汉字。你发过去的每句话，都会被先切成一堆小碎片，这些碎片就是词元（Token）。一个汉字大约等于 1 到 2 个词元，一个英文单词大约 1 到 3 个词元。
模型处理的就是这些词元，而不是「字」或「词」本身。

为什么它这么重要？

它决定了「多贵」和「多长」
你看到的 API 计费、免费版的字数限制、上下文的长度上限，背后都是词元在算账。模型按词元收费，也有一次最多吃多少词元的硬上限。
它是「翻译官」
不同语言切成词元的效率不一样。同样一句话，中文往往比英文省词元——这也是为什么有些场景下用中文提问「更划算」。

一个直观的例子

「我爱吃苹果」这五个字，模型大概会切成「我」「爱」「吃」「苹果」几个词元；而「我喜欢吃苹果」可能会多一个「喜欢」。切得越碎，模型理解得越细，但花的钱和时间也越多。

一句话记住：词元是 AI 的「计量单位」。你花的每一分钱、占用的每一寸上下文，都是它在悄悄计数。