Un token es la unidad mínima de texto con la que un modelo de lenguaje lee y escribe: una palabra corta, un trozo de palabra, un signo de puntuación o un espacio. El modelo no ve letras ni palabras, sino secuencias de tokens, y todo se mide en ellos: lo que cabe en la ventana de contexto, el tamaño de los chunks y el coste de usar el modelo.
La forma de trocear depende del tokenizador de cada modelo. En general, las palabras frecuentes en inglés ocupan un token, y las palabras largas, los términos técnicos, los nombres propios poco comunes y muchos textos en otros idiomas, incluido el español, se parten en varios. Por eso un mismo texto puede ocupar más tokens en español que su traducción al inglés.
Para la visibilidad, el token importa sobre todo como medida. Los sistemas de recuperación trocean los documentos en chunks de típicamente 200 a 1.000 tokens; si conviertes esa cifra en algo tangible, un chunk equivale aproximadamente a unos pocos párrafos. Esa es la escala a la que tu pasaje tiene que tener sentido completo.
Ejemplos
- Medir un pasaje: pasas una sección de tu artículo por un contador de tokens para comprobar que su respuesta principal cabe holgadamente en un chunk.
- Nombre de marca: un nombre inventado y largo se parte en varios tokens; repetirlo de forma coherente, siempre igual, ayuda a que el modelo lo trate como una unidad.
Consejos prácticos
- Piensa en tokens solo como unidad de medida; no intentes «optimizar tokens» palabra por palabra.
- Mantén las secciones clave dentro de la escala de un chunk: unos pocos párrafos con una idea completa.
- Escribe tu marca y tus productos siempre igual, sin variantes ortográficas.
Cuidado con
- No hay evidencia de que elegir palabras «de un solo token» mejore la visibilidad; quien lo venda no tiene datos.
- Las cifras de tokens por palabra varían según el modelo; no las tomes como constante.
Términos relacionados
- Ventana de contexto: Se mide en tokens.
- Chunking: El tamaño de cada chunk se expresa en tokens.
- LLM (Large Language Model): Lee y genera secuencias de tokens.
- Consistencia de entidad: Escribir el nombre siempre igual también ayuda a nivel de token.