GPT

GPT (Generative Pre-trained Transformer) est la famille de grands modèles de langage développée par OpenAI qui se trouve derrière ChatGPT. Son nom résume son fonctionnement : il est génératif, car il produit du texte nouveau ; il est pré-entraîné, car il apprend à partir d’énormes quantités de texte avant d’être utilisé ; et il utilise l’architecture Transformer, la base de la plupart de l’IA du langage actuelle. Pour l’essentiel, il fonctionne en prédisant sans cesse l’unité de texte suivante (un token) la plus probable, enchaînant ainsi des réponses cohérentes. Ses différentes versions (GPT-3, GPT-4 et suivantes) sont devenues de plus en plus capables. Bien que « GPT » soit devenu presque synonyme de chatbot d’IA, ce n’est qu’une des familles de modèles qui existent ; d’autres entreprises proposent des alternatives. Il partage aussi les limites typiques de ces modèles, comme les hallucinations.