Contextvenster

Het contextvenster is de maximale hoeveelheid tekst — gemeten in tokens — die een taalmodel tegelijk in overweging kan nemen, inclusief zowel je instructie als zijn eigen antwoord. Het werkt als zijn werkgeheugen: alles wat erin past, wordt meegewogen bij het genereren van het antwoord; wat eroverheen gaat, gaat verloren. In een lang gesprek of bij het plakken van een groot document begint het model, als de limiet wordt overschreden, te "vergeten" wat aan het begin is gezegd, wat tot onsamenhangende antwoorden kan leiden. Vensters zijn sterk gegroeid, van een paar duizend tokens tot honderdduizenden in de meest geavanceerde modellen, wat het mogelijk maakt met hele boeken of codebases te werken. Deze limiet kennen helpt je je verzoeken goed te structureren en te begrijpen waarom de AI soms de draad kwijtraakt.