RAG (retrieval-augmented generation)

RAG (retrieval-augmented generation) is een techniek die een taalmodel combineert met een zoekopdracht over een externe gegevensbron. Voordat het antwoordt, vindt het systeem de relevante fragmenten in documenten, een kennisbank of het web, en geeft het die als context aan het model zodat het daaruit het antwoord schrijft. Dat bereikt twee belangrijke dingen: het model kan actuele of privé-informatie gebruiken die niet in zijn training zat, en hallucinaties worden verminderd, omdat het antwoordt op basis van echte teksten die het ook kan citeren. Het is de basis van veel assistenten die vragen beantwoorden over de documentatie van een bedrijf of over een specifieke set bestanden. Het neemt fouten niet volledig weg, maar maakt antwoorden veel betrouwbaarder en verifieerbaarder.