Kaj je mehanizem pozornosti?
Mehanizem pozornosti je ključna arhitekturna inovacija, uvedena v delu »Attention Is All You Need« (2017), ki transformerjem omogoča dinamično ponderiranje pomembnosti različnih delov vhodnega zaporedja pri generiranju vsakega izhodnega žetona.
Samoposornost in pozornost z večglavami
Samoposornost izračuna pozornost med vsakim parom žetonov v vhodnem zaporedju. Pozornost z večglavami vzporedno izračunava več prostornih pozornosti, ki zajemajo različne jezikovne odnose.
Zakaj je to pomembno za poslovno rabo?
Razumevanje pozornosti pomaga razumeti, zakaj modeli bolje delujejo z jasno strukturiranimi pozivi in zakaj ima kontekstno okno omejitve.