Transformer: temelj sodobne UI
Arhitektura Transformer, uvedena v delu »Attention Is All You Need« (Vaswani et al., 2017), je revolucionirala UI z zamenjavo ponavljajočih nevronskih mrež (RNN, LSTM) z mehanizmom samoposornosti, ki lahko obdeluje zaporedja vzporedno.
Ključne arhitekturne komponente
Pozornost z večglavami: zajemanje odnosov med vsemi pari žetonov. Plasti feed-forward: preoblikovanje na ravni žetonov. Pozicijsko kodiranje: injiciranje informacij o položaju. Normalizacija slojev + rezidualne povezave: stabilizacija globokega usposabljanja.
Evolucija transformerja
Izvirni transformer je evoluiral v: BERT (koder, razumevanje), GPT serija (dekoder, generiranje), T5 (koder-dekoder), Vision Transformer in Whisper.