Cad is Infeireas ann?
Is é infeireas an próiseas ina bpróiseálann samhail IS traenáilte sonraí ionchuir agus gineann sí toradh (freagra, aicmiú, réamhaisnéis). Seo an chéim "úsáide" den tsamhail — i gcodarsnacht leis an traenáil a chruthaíonn í.
Costais agus feidhmíocht infeiris
I dtáirgeadh, is é infeireas an phríomhchostas IS: gach fiosrúchán = tocáin = táille API. Áirítear ar optamú: cainníochtú (beachtas samhla a laghdú, m.sh. fp16 go int8 — 2x níos tapúla, 2x níos saoire), baisteáil (fiosrúcháin a ghrúpáil), speculative decoding agus KV cache.
Infeireas áitiúil vs scamall
Díothóidh infeireas áitiúil (ar fhreastalaithe cuideachta) costais API agus imní príobháideachais ach teastaíonn crua-earraí GPU. Tá infeireas scamall solúbtha ach gineann sé costais agus rioscaí comhlíonta. Comhcheanglaíonn ródú ilsraithe an dá chur chuige.