An Réabhlóid Transformer
Tugadh an ailtireacht Transformer isteach i 2017 sa pháipéar 'Attention Is All You Need'. Tháinig an ailtireacht chun cinn go réabhlóideach: murab ionann agus RNNanna a phróiseáil seicheamh, déanann Transformers gach comhartha a chomhthráth, ag cinntiú go bhfuil siad go mór inghéaraithe agus ag nochtadh gaolta fadréimse níos fearr.
Príomhchomhpháirteanna
Tá dhá bhloc bhunúsacha san ailtireacht Transformer: bloc ionchódóra (a léiríonn ionchur) agus bloc díchódóra (a ghineann aschur). Cruthaíonn LLManna nua-aimseartha ar chosúlacht GPT úsáid as díchódóir-amháin, chomh fada is go léiríonn samhlacha BERT ionchódóra-amháin. Tá ionsamhlú suímh ríthábhachtach freisin — soláthraíonn sé faisnéis ord seicheamh don tsamhail ó nach bhfuil struchtúr inmheánach seicheamhach ag Transformers.
Dul Thar Teanga
Cé go ceapadh ar dtús le haghaidh NLP iad, tá Transformers curtha i bhfeidhm ar íomhánna (Vision Transformers), sraitheanna ama, próitéin (AlphaFold), agus modúil iolracha. Tá siad ina mbunphrionsabal anois d'fhormhór na gcórais AI ceannasach.