Transformer

O transformer é uma arquitetura de rede neural ✕ Uma rede neural é um modelo de IA inspirado, em linhas gerais, no cérebro, formado por nós conectados que se ajustam ao aprender. É a base do aprendizado profundo. Mais no glossário → , apresentada por pesquisadores do Google em 2017, que revolucionou o processamento de linguagem e é a base dos grandes modelos atuais. Sua ideia central é o mecanismo de "atenção", que permite ao modelo ponderar quais palavras de um texto são mais relevantes entre si, não importa a distância entre elas, e assim captar o contexto muito melhor do que as técnicas anteriores. Além disso, processa o texto em paralelo em vez de palavra por palavra, o que o torna muito mais eficiente de treinar em grande escala. O "T" de GPT ✕ GPT é a família de grandes modelos de linguagem da OpenAI por trás do ChatGPT. Gera texto prevendo, unidade a unidade, a continuação mais provável. Mais no glossário → significa justamente "transformer". Embora tenha nascido para a linguagem, hoje também é usado em imagens, áudio e outras áreas. É, sem exagero, a peça técnica que tornou possível a atual onda de IA generativa ✕ A IA generativa cria conteúdo novo — texto, imagens, áudio ou código — a partir de uma instrução, em vez de apenas analisar dados já existentes. Mais no glossário → .