Token

¿Qué es un token?

Puede que creas que ChatGPT lee tu español, pero en realidad no «conoce» las letras. Cada frase que envías se trocea primero en pequeños fragmentos: esos fragmentos son los tokens. Una palabra corta suele ser un token; una larga, dos o tres.
El modelo trabaja con esos tokens, no con las palabras en sí.

Por qué importa

Decide coste y longitud
El precio de la API, los límites del plan gratuito, el contexto máximo — todo lo cuentan los tokens. Los modelos cobran por token y tienen un tope de cuántos aceptan de una vez.
Es la razón de que algunos idiomas «salgan más baratos»
Cada idioma se trocea distinto. La misma idea puede gastar más o menos tokens según el idioma, y eso cambia la factura en silencio.

Un ejemplo rápido

«Me encantan las manzanas» puede partirse en «Me», «encantan», «las», «manzanas». Si añades «mucho», sumas otro token. Cuanto más fino el troceo, más precisa la lectura y mayor el coste.

En resumen: los tokens son la unidad de medida de la IA. Cada céntimo que gastas, cada espacio de contexto que ocupas, se cuenta en tokens.