Token (KI)

Im KI ✕ Künstliche Intelligenz ist die Fähigkeit eines Computersystems, Aufgaben zu erledigen, die wir mit menschlicher Intelligenz verbinden – etwa Sprache verstehen, Bilder erkennen oder Entscheidungen treffen. Mehr im Glossar → -Kontext ist ein Token die kleinste Texteinheit, in die ein Sprachmodell ✕ Ein LLM ist ein KI-Modell, das mit riesigen Textmengen trainiert wurde, um Sprache zu verstehen und zu erzeugen. Es ist der Motor hinter Assistenten wie ChatGPT. Mehr im Glossar → das Gelesene und Geschriebene zerlegt. Es entspricht nicht immer einem Wort: Es kann ein ganzes kurzes Wort, ein Stück eines längeren oder ein Satzzeichen sein; als grobe Faustregel entspricht im Englischen ein Token etwa vier Zeichen. Modelle sehen weder Buchstaben noch Wörter als solche, sondern diese in Zahlen umgewandelten Stücke. Praktisch wichtig ist der Begriff aus zwei Gründen: Die Kosten von KI-Werkzeugen werden meist pro verarbeitetem Token berechnet, und jedes Modell hat eine Höchstzahl an Tokens, die es auf einmal verarbeiten kann (sein Kontextfenster ✕ Das Kontextfenster ist die Textmenge, die ein Modell gleichzeitig „im Kopf“ behalten kann. Wird es überschritten, vergisst es das anfangs Gesagte. Mehr im Glossar → ). Deshalb verbrauchen sehr lange Texte mehr und passen womöglich nicht ganz hinein. Wer Tokens versteht, kann Kosten abschätzen und Grenzen einhalten.