A intuição revolucionária da OpenAI
Autor: Gino Roncaglia – Universidade Roma Tre | Fonte
julho de 2025
Como funcionam hoje os sistemas de inteligência artificial generativa?
Muito do que conhecemos atualmente nasce de um artigo revolucionário publicado em 2017 por um grupo de investigadores da Google: Attention Is All You Need (Tudo o que precisas é atenção). Mas que tipo de atenção é esta?
No início, as redes neuronais capazes de gerar texto tinham grandes limitações na capacidade de “recordar” tanto o que recebiam como o que iam produzindo. Imagine quem programava estes sistemas antes de 2017: era como brincar ao “cadáver esquisito”, aquele jogo dos surrealistas franceses em que várias pessoas escrevem juntos um texto, mas cada uma só pode ver a última palavra deixada pelo anterior. O resultado? Textos sem grande sentido, onde a escassa ligação entre as partes não chega para criar um fio narrativo consistente.
Long Short-Term Memory
Antes de 2017, as redes neuronais enfrentavam um problema muito parecido: à medida que o texto ia crescendo, o sistema esquecia rapidamente as partes que já estavam mais distantes e perdia o rumo da escrita.
Uma tentativa para resolver esta limitação surgiu em 1997, pelas mãos dos informáticos alemães Sepp Hochreiter e Jürgen Schmidhuber: a Long Short-Term Memory (LSTM).
A ideia passava por criar na rede uma espécie de memória intermédia, ampla o suficiente para reter certas dependências distantes — daí o nome curioso: memória de curto-prazo longa.
As células dessa memória eram geridas por circuitos capazes de guardar e recuperar informações, tendo as chamadas “portas do esquecimento” para descartar o que fosse pouco relevante.
O desafio da atenção
Mesmo com esta memória mais generosa, não era suficiente para acompanhar textos mais extensos. Mas, acima de tudo, faltava ainda algo crucial: mais do que conservar palavras, é preciso perceber e gerir relações complexas, referências, ideias que ficam implícitas.
La quarta rivoluzione. Sei lezioni sul futuro del libro |
| » Ver Preço na Amazon « |
Pense no que já leu até aqui. No início, falei do artigo sobre atenção e perguntei: “Mas que atenção é esta?”. Quem lê mantém esta dúvida viva, à espera que ao longo do texto se construa a resposta. Mesmo passada essa frase, continuamos com ela presente, ainda que não conscientemente, e eu, ao escrever, também não a esqueço — porque prometi responder!
Ou seja, num texto, há sempre partes que exigem mais atenção do que outras. Não basta uma memória simples: precisamos de uma memória diversificada, capaz de guardar não só a ordem das palavras, mas a sua importância e as ligações que têm entre si — e essa avaliação é constantemente revista.
O mecanismo de atenção, implementado numa arquitetura chamada transformer, veio resolver isto. Ele permite que a rede foque, a cada instante, nos elementos mais relevantes da sequência que está a processar, atribuindo níveis de atenção diferentes — e ajustáveis — de acordo com o contexto.
O nascimento do ChatGPT
O potencial desta ideia ficou logo claro na tradução automática (onde um primeiro modelo de atenção já fora testado em 2014): com atenção, a rede consegue “olhar” diretamente para as palavras mais relevantes na frase de origem ao gerar cada termo na tradução, tal como um humano se foca em detalhes específicos do texto original.
Quando saiu o artigo dos investigadores da Google em 2017, uma jovem empresa percebeu de imediato as possibilidades dos transformers e do mecanismo de atenção: a OpenAI, criada em dezembro de 2015 precisamente para explorar sistemas de inteligência artificial e redes neuronais.
Se perguntar quando nasceu a “nova” IA generativa, muitos dirão que foi no final de 2022, com o lançamento do ChatGPT — um chatbot, um sistema capaz de dialogar usando linguagem natural.
Na verdade, a OpenAI já tinha desenvolvido o primeiro GPT em 2018 (Generative Pre-trained Transformer — sistema generativo, pré-treinado, baseado na arquitetura transformer, logo, no mecanismo de atenção).
Já em 2019, era possível conversar com o GPT-2 online através do site Talk To Transformer, mas poucos repararam. Foi preciso esperar mais três anos para que as capacidades surpreendentes — e, em parte, inquietantes — da IA generativa ganhassem o destaque que merecem, com a chegada do ChatGPT.
Prolongamentos razoáveis
O ChatGPT e sistemas semelhantes são grandes modelos de linguagem que funcionam prevendo tokens: usando enormes bases de textos, durante meses de treino, constroem modelos numéricos com milhares de “dimensões de uso” para as palavras de várias línguas.
Nestes modelos, cada palavra — ou token — é marcada por milhares de números.
Assim, “elefante” e “mosquito” vão partilhar certas dimensões (são ambos animais, têm patas…) e diferir noutras (tamanho, longevidade, hábitos…).
O sistema aprende que a frase «esta manhã picou-me um terrível…» terá uma continuação natural como «mosquito», mas não como «elefante». Aprende, portanto, a prever prolongamentos razoáveis para cada texto.
Se eu perguntar «O que poderia fazer de interessante amanhã?», o sistema percebe que uma resposta lógica começaria com «amanhã» e, depois, token a token, vai prosseguindo, sempre “olhando” para a pergunta inicial e ajustando o foco a cada novo passo. Pode produzir: «amanhã poderias fazer um passeio».
O impacto deste mecanismo, capaz de construir textos coerentes, superou todas as expectativas — até dos próprios criadores.
Em simultâneo, mecanismos semelhantes (e outros completamente novos) permitiram gerar imagens, áudio, vídeo e sistemas multimodais, capazes de produzir, por exemplo, um vídeo com som e legendas.
A inteligência artificial generativa está ainda na infância, mas já está a transformar a nossa vida.
Nesta série de artigos, que termina hoje, procurei dar conta das suas origens e conceitos fundamentais.
Acompanhar o seu desenvolvimento e encontrar formas de gerir potenciais e riscos serão prioridades essenciais — exigem atenção nossa, não só das redes neuronais — nos próximos anos.
Nota final do autor
A capacidade de gerar textos coerentes surpreendeu até os próprios criadores.
