Token (IA)

Dans le contexte de l'IA, un token est la plus petite unité de texte dans laquelle un modèle de langage découpe ce qu'il lit et écrit. Il ne correspond pas toujours à un mot : cela peut être un mot court entier, un morceau d'un mot plus long ou un signe de ponctuation ; à titre indicatif, en anglais un token équivaut à environ quatre caractères. Les modèles ne voient ni les lettres ni les mots en tant que tels, mais ces morceaux convertis en chiffres. Le concept compte en pratique pour deux raisons : le coût des outils d'IA se calcule le plus souvent par token traité, et chaque modèle a un nombre maximal de tokens qu'il peut traiter d'un coup (sa fenêtre de contexte). C'est pourquoi les textes très longs consomment davantage et peuvent ne pas tenir en entier. Comprendre les tokens aide à estimer les coûts et à respecter les limites.