Conas a Oibríonn Aird
Ritheann an meicníocht aird gach comhartha ionchuir trí mheáchain ardchaighdeáin agus ísealchaighdeáin eile — a mheasúnaíonn cé mhéad a bhaineann gach comhartha ionchuir le giniúint na gcomharthaí aschuir gach uair. Cuireann aird iolrach ceann go dtí go n-úsáidtear aird le sárchomhréir, rud a cheadaíonn an tsamhail focal i gcomhthéacsanna faisnéise éagsúla ag an am céanna a ghabháil.
Cén Fáth a bhfuil Sé Réabhlóideach
Sula raibh aird ann, bhí córais NLP ag brath ar RNNanna a phróiseáil comharthaí ag cor-na-coise. Bhí sé deacair orthu gaolta fadréimse a ghabháil agus chuir loic orthu ó phróiseáil chomhthreomhar. Réitíonn aird an dá fhadhb, ag cinntiú gur chóir LLManna nua-aimseartha a tógáil beagnach ar fad ar aird.
Eisceachtaí Comhthéacs Fada
Tá gach comhartha i seicheamh a díriú ar gach comhartha eile ag scálú i gcuadrach le fad seicheamh — fíor-achtúil do dhoiciméid fhada. Tá taighde gníomhach ag lorg éifeachtúlacht méide aird le modhanna cosúil le aird sleamhán, aird srianta, agus GQA (Grouped Query Attention) a fheidhmíonn go hiontaofa ar shlabhra comhthéacs i bhfad níos faide ach le costais iniompartha.