Janela de contexto

A janela de contexto é a quantidade máxima de texto — medida em tokens ✕ Um token é a unidade mínima de texto com a qual um modelo de linguagem trabalha: costuma ser uma palavra ou um fragmento de palavra. O preço e os limites são medidos em tokens. Mais no glossário → — que um modelo de linguagem ✕ Um LLM é um modelo de IA treinado com enormes quantidades de texto para entender e gerar linguagem. É o motor de assistentes como o ChatGPT. Mais no glossário → consegue levar em conta de uma só vez, incluindo tanto a sua instrução quanto a própria resposta dele. Funciona como sua memória de trabalho: tudo o que couber dentro é considerado ao gerar a resposta; o que fica de fora se perde. Em uma conversa longa ou ao colar um documento extenso, se o limite é ultrapassado o modelo começa a "esquecer" o que foi dito no início, o que pode provocar respostas incoerentes. As janelas cresceram muito, de alguns poucos milhares de tokens até centenas de milhares nos modelos mais avançados, o que permite trabalhar com livros inteiros ou bases de código. Conhecer esse limite ajuda a estruturar bem o que se pede e a entender por que às vezes a IA ✕ A inteligência artificial é a capacidade de um sistema de computador de realizar tarefas que associamos à inteligência humana, como entender linguagem, reconhecer imagens ou tomar decisões. Mais no glossário → perde o fio da meada.