Què és el mecanisme d'atenció?
El mecanisme d'atenció és el component arquitectònic revolucionari introduït el 2017 en l'article "Attention is All You Need", que forma la base dels moderns models Transformer. Permet a un model, en processar cada element d'una seqüència, determinar dinàmicament quins altres elements són particularment rellevants.
Self-Attention i Multi-Head Attention
Self-Attention calcula per a cada token en una seqüència la seva relació amb tots els altres tokens. Multi-Head Attention duu a terme aquest procés en paral·lel en múltiples "caps", cadascuna de les quals aprèn diferents aspectes de les relacions. Això permet al model capturar simultàniament patrons sintàctics, semàntics i contextials.
Importància pràctica
El mecanisme d'atenció explica per què els grans models de llengua aconsegueixen resultats excel·lents en processar textos llargs. Permet als models capturar dependències a grans distàncies en el text, la qual cosa és crucial per comprendre arguments complexos, codi i documents estructurats.