¿O que é o Transformer?
O Transformer é unha arquitectura de rede neuronal presentada en 2017 no influente artigo "Attention is All You Need" (Vaswani et al., Google). Revolucionou o campo do procesamento do linguaxe natural e é hoxe a base de case todos os grandes modelos de linguaxe modernos, desde GPT até BERT e Claude.
Principios arquitectónicos
O Transformer substitúe as conexións recorrentes con mecanismos de auto-atención que permiten o procesamento paralelo. Os compoñentes centrais son a auto-atención multi-cabeza (aprende diferentes tipos de relacións entre tokens), as redes feed-forward, a codificación posicional (dá ao modelo información sobre as posicións dos tokens) e a normalización de capas. As variantes encoder-decoder (para tradución) e as variantes so-decoder (para xeración de texto) demostraron ser eficaces para diferentes tarefas.
Importancia histórica
A arquitectura Transformer é un dos conceptos técnicos máis influyentes das últimas décadas. Permitiu o escalado a miles de millóns de parámetros, o adestramento con datos a escala de internet e a aparición de capacidades emerxentes en modelos grandes. Sen Transformer non habería ChatGPT, non habería Claude, non habería era moderna da IA.