¿O que é o mecanismo de atención?
O mecanismo de atención é o compoñente arquitectónico revolucionario introducido en 2017 no artigo "Attention is All You Need", que forma a base dos modernos modelos Transformer. Permítelle a un modelo, ao procesar cada elemento dunha secuencia, determinar dinamicamente cales outros elementos son particularmente relevantes.
Self-Attention e Multi-Head Attention
Self-Attention calcula para cada token nunha secuencia a súa relación con todos os demais tokens. Multi-Head Attention leva a cabo este proceso en paralelo en múltiples "cabezas", cada unha das cales aprende diferentes aspectos das relacións. Isto permítelle ao modelo capturar simultaneamente patróns sintácticos, semánticos e contextuais.
Importancia práctica
O mecanismo de atención explica por que os grandes modelos de lingua logran resultados excelentes ao procesar textos longos. Permítelle aos modelos capturar dependencias a grandes distancias no texto, o cal é crucial para comprender argumentos complexos, código e documentos estructurados.