Pochopenie pozornosti v neurónových sieťach
Mechanizmus pozornosti je technika umožňujúca neurónovým sieťam selektívne sa sústrediť na špecifické časti vstupnej sekvencie pri generovaní každého prvku výstupu. Namiesto komprimovania celého vstupu do jedného vektora pevnej veľkosti, pozornosť vypočítava vážený súhrn všetkých vstupných prvkov, kde váhy sú určené ich relevanciou pre aktuálnu úlohu. Samo-pozornosť, varianta používaná v Transformeroch, vypočítava vzťahy medzi všetkými pozíciami v rámci jednej sekvencie.
Viachlavá pozornosť
Viachlavá pozornosť vyvíja viacero operácií pozornosti paralelne, každá s rôznymi naučenými projekciami. To umožňuje modelu zachytiť rôzne typy vzťahov súčasne, ako je syntaktická štruktúra v jednej hlave a sémantický význam v inej.
Podnikové aplikácie
Mechanizmy pozornosti sú kriticky dôležité pre podnikové NLP úlohy vrátane sumarizácie dokumentov, prekladu a extrakcie informácií. Váhy pozornosti tiež poskytujú stupeň interpretovateľnosti, ukazujúce ktoré vstupné tokeny najväčšie ovplyvnili každé výstupné rozhodnutie.