Token (AI)

In de AI-context is een token de kleinste teksteenheid waarin een taalmodel opsplitst wat het leest en schrijft. Het komt niet altijd overeen met een woord: het kan een heel kort woord zijn, een stuk van een langer woord of een leesteken; als vuistregel is één token in het Engels ongeveer vier tekens. Modellen zien geen letters of woorden als zodanig, maar deze in cijfers omgezette stukjes. Het begrip is in de praktijk om twee redenen belangrijk: de kosten van AI-tools worden meestal per verwerkt token berekend, en elk model heeft een maximaal aantal tokens dat het tegelijk aankan (zijn contextvenster). Daarom verbruiken heel lange teksten meer en passen ze soms niet in hun geheel. Tokens begrijpen helpt je kosten in te schatten en te voorkomen dat je limieten overschrijdt.