Pochopenie pozornosti v neuronových sietiach
Mechanizmus pozornosti je technika umoznujuca neuronowym sietiam selektívne sa sústredil na specifické casti vstupnej sekvencie pri generovaní každého prvku výstupu. Namiesto komprimovania celého vstupu do jedného vektora pevnej velkosti, pozornost vypocítava vázenosný súhrn všetkych vstupných prvkov, kde váhy su urcené ich relevanciou pre aktuálnu ulohu. Samo-pozornost, varianta pouzívaná v Transformeroch, vypocítava vzfahy medzi všetkymi pozíciami v rámci jednej sekvencie.
Viachlav pozornost
Viachlav pozornost vyvíja viacero operácii pozornosti paralelne, každá s rôznymi naucenymi projekciami. To umoznuje modelu zachytit rôzne typy vzfahov soucasne, ako je syntaktická štruktúra v jednej hlavne a sémantický vyznam v inej.
Podnikové aplikácie
Mechanizmy pozornosti su kriticky dôlezité pre podnikové NLP ulohy vrátane sumarizácie dokumentov, prekladu a extrakcie informácii. Váhy pozornosti tiez poskytuju stupen interpretovatelnosti, ukazujuce ktore vstupné tokeny najvačšie ovplyvnili každé výstupné rozhodnutie.