Qué es un token en la IA y por qué importa
Un token es la unidad mínima de texto que procesa un modelo de lenguaje: aproximadamente una palabra corta o un trozo de palabra. Los modelos cuentan, limitan y a veces facturan por tokens, no por palabras.
Cuando se habla de "límite de tokens", "coste por token" o "ventana de contexto", se refieren a esta unidad. Entender qué es un token ayuda a saber por qué un texto largo "no cabe" o por qué cuesta más procesarlo.
Pasos
- La idea básicaEl modelo no lee letras ni palabras enteras: parte el texto en tokens, fragmentos que pueden ser una palabra, parte de una palabra o un signo.
- Cuántas palabras es un tokenComo regla aproximada en español, un token equivale a unas 3-4 letras; unas 100 palabras rondan los 130-150 tokens.
- Por qué se usan y no palabrasTrabajar con trozos pequeños permite al modelo manejar palabras nuevas, idiomas distintos y errores de escritura sin "perderse".
- Dónde te afectaEl límite de lo que puedes pegar (entrada) y de lo que el modelo responde (salida) se mide en tokens. En herramientas de pago, la factura también.
- Cómo aprovecharlosSi te quedas sin espacio, resume, quita lo redundante o divide el texto en partes. Ser conciso ahorra tokens y, a veces, dinero.
Tip clave
Cuando una herramienta dice "máximo X tokens", piensa "aproximadamente X menos un 25-30% en palabras". Así calculas si tu texto cabe.
Preguntas frecuentes
¿Cuesta lo mismo lo que escribo y lo que responde?
En las API que cobran por uso, suelen contar tanto los tokens de entrada como los de salida, a veces a precios distintos.
¿Los espacios y signos cuentan?
Sí, todo el texto se convierte en tokens, incluidos espacios y puntuación.
¿Por qué a veces "olvida" el principio de una conversación?
Porque la conversación entera supera la ventana de tokens del modelo y se recorta lo más antiguo.