Token (IA)

En el contexto de la IA ✕ La inteligencia artificial es la capacidad de un sistema informático de realizar tareas que asociamos a la inteligencia humana, como entender lenguaje, reconocer imágenes o tomar decisiones. Más en el glosario → , un token es la unidad mínima de texto en la que un modelo de lenguaje ✕ Un LLM es un modelo de IA entrenado con enormes cantidades de texto para entender y generar lenguaje. Es el motor de asistentes como ChatGPT. Más en el glosario → divide lo que lee y escribe. No siempre coincide con una palabra: puede ser una palabra corta entera, un trozo de otra más larga o un signo de puntuación; como regla aproximada, en inglés un token equivale a unas cuatro letras. Los modelos no ven letras ni palabras tal cual, sino estas piezas convertidas en números. El concepto importa en la práctica por dos motivos: el coste de las herramientas de IA suele calcularse por tokens procesados, y cada modelo tiene un límite máximo de tokens que puede manejar de una vez (su ventana de contexto ✕ La ventana de contexto es la cantidad de texto que un modelo puede tener "en mente" a la vez. Superarla hace que olvide lo dicho al principio. Más en el glosario → ). Por eso, textos muy largos consumen más y pueden no caber enteros. Entender los tokens ayuda a estimar costes y a no exceder los límites.