Transformer

De transformer is een architectuur voor neurale netwerken, in 2017 geïntroduceerd door onderzoekers van Google, die de taalverwerking revolutioneerde en de basis is van de huidige grote modellen. Het kernidee is het "attention"-mechanisme, waarmee het model kan afwegen welke woorden in een tekst het meest relevant voor elkaar zijn, hoe ver ze ook uit elkaar staan, en zo de context veel beter vangt dan eerdere technieken. Het verwerkt tekst bovendien parallel in plaats van woord voor woord, wat het veel efficiënter maakt om op grote schaal te trainen. De "T" in GPT staat precies voor "transformer". Al is het voor taal geboren, het wordt nu ook voor beelden, audio en andere gebieden gebruikt. Het is, zonder overdrijving, het technische onderdeel dat de huidige golf van generatieve AI mogelijk maakte.