Double Espresso: ¿Qué es un token?
Canonical episode: https://move37.app/cafe/es/episodes/double-espresso-token-es/
Published: 2026-08-10T21:39:20Z
Language: es

TRANSCRIPT

Bienvenidos a Andy's Café, donde las máquinas preparan y las personas saborean. Hoy servimos un Double Espresso. Que lo disfruten.

¿Qué es un token?

Abres una herramienta de inteligencia artificial y, en algún rincón de la pantalla, aparece una cifra: doscientos mil tokens de contexto. Vas a la página de precios y encuentras algo parecido: tanto por cada millón de tokens de entrada, tanto por cada millón de tokens de salida. La palabra viene del inglés y se quedó así, sin traducir, en casi toda la documentación. Suena a jerga de ingeniero, pero detrás hay una idea bastante sencilla. Y en cuanto la tienes clara, varias rarezas de estas herramientas dejan de parecer caprichos.

Empecemos por la definición. Un token es una unidad de texto con la que trabaja un modelo de lenguaje. A veces coincide con una palabra corta y muy frecuente; a veces es solo un pedazo de palabra; a veces es un signo de puntuación, un espacio o una pequeña secuencia de bytes. El programa que parte el texto en esos fragmentos se llama tokenizador; en inglés, tokenizer. Hace dos cosas: corta el texto y le asigna a cada fragmento un número.

Cada tokenizador tiene un vocabulario fijo, una lista larga de fragmentos conocidos, y cada fragmento tiene allí un identificador. El modelo no recibe una página escrita como la vemos nosotros: recibe una secuencia de identificadores que después se convierten, dentro del sistema, en representaciones numéricas más ricas. Nosotros vemos letras, eñes y tildes. El modelo calcula con números.

¿Y por qué no cortar sencillamente por palabras, que sería lo intuitivo? Porque una lista de palabras nunca alcanza. Siempre aparecen nombres propios, palabras inventadas, erratas, código, direcciones y otros idiomas. Trabajar con piezas más pequeñas y reutilizables permite representar prácticamente cualquier texto con un vocabulario de tamaño manejable. Lo que aparece a menudo puede tener una pieza compacta; lo raro se arma juntando fragmentos.

Piénsalo con un pedido de cafetería. Si escribes: un cortado descafeinado, por favor, tú ves cinco palabras y un par de signos. Un tokenizador verá otra cosa. Palabras comunes podrían ocupar una sola pieza, la coma podría ir por su cuenta, y una palabra larga y menos frecuente como descafeinado podría repartirse en varios pedazos. Ese corte es una ilustración, no un dato. Cada familia de modelos usa su propio vocabulario y sus propias reglas. Si necesitas el número exacto, se comprueba con ese tokenizador concreto; no se adivina.

Esto también explica por qué un texto en español y su traducción al inglés no siempre consumen lo mismo. Según el vocabulario y los textos con los que se construyó el tokenizador, los acentos, las terminaciones y otras formas propias del español pueden quedar representados con más o con menos piezas. No es una regla universal ni un juicio sobre el idioma.

Sigamos una frase por el circuito completo. Supongamos que escribes: explícame qué es un token. Primero, el tokenizador parte esa frase en fragmentos y los traduce a sus identificadores. Segundo, el modelo convierte esa secuencia en representaciones internas. Tercero, calcula una puntuación para cada token posible de su vocabulario: qué tan plausible resulta cada fragmento como continuación. Cuarto, el método de decodificación elige uno, a veces el más probable, a veces con algo de variación deliberada. Quinto, ese token se añade al final y todo vuelve a empezar, ahora con un fragmento más de contexto. Así, de uno en uno, se construye la respuesta. A medida que avanza, los identificadores se convierten de nuevo en texto legible. Por eso muchas aplicaciones pueden mostrar la respuesta poco a poco.

Con esto podemos deshacer cuatro confusiones habituales. Un token no es una palabra, una sílaba ni una letra. Un límite de tokens tampoco se traduce a un número exacto de páginas. Las reglas aproximadas sirven para orientarse, pero se rompen con código, cifras, nombres poco comunes o al cambiar de idioma. Además, dos modelos pueden contar el mismo texto de forma distinta. Y la tokenización es la puerta de entrada del texto al modelo, no una prueba de comprensión. Que una palabra se parta en cuatro pedazos no significa por sí solo que el sistema la entienda peor.

¿Por qué debería importarte todo esto en el uso diario? Primero, por el espacio. Todo lo que entra en una conversación compite por la misma capacidad: tus instrucciones, el historial, los documentos que adjuntas, los resultados de una búsqueda y también la respuesta que se está generando. Cuando una conversación larga parece olvidar el principio, el producto puede haber tenido que descartar o resumir material antiguo para mantenerse dentro del límite.

Segundo, por el costo y el tiempo. Muchos servicios cobran los tokens de entrada y de salida, y una respuesta larga tarda más porque se produce fragmento a fragmento. De ahí una consecuencia práctica: adjuntar las tres páginas relevantes en lugar del manual entero no es tacañería, es diseño.

Si te quedas con una sola imagen, que sea esta: un token es el bocado de texto que el modelo procesa como una unidad, y lo que cabe, lo que tarda y, muchas veces, lo que pagas se mide en esos bocados.

Eso es todo por hoy. El café siempre está abierto. Vuelvan pronto.

MORE INFORMATION
TEXT LICENSE
This transcript, description and original Andy's Café editorial text are licensed under Creative Commons Attribution 4.0 International (CC BY 4.0).
License: https://creativecommons.org/licenses/by/4.0/
Attribution: Andy's Café — https://move37.app/cafe/es/episodes/double-espresso-token-es/
Indicate changes when adapting. Identified third-party quotations and linked source material remain under their own terms.

AUDIO AND OTHER MATERIAL
The composed episode has separate component terms because its piano cues are third-party material. Artwork and the Andy's Café brand are not included in the CC BY licence.
Rights map: https://move37.app/cafe/welcome/#reuse
Contact: hello@move37.app