X'inhi l-Inferenza?
L-inferenza hija l-proċess fejn mudell tal-IA mħarreġ jipproċessa dejta ta' input u jiġġenera riżultat (tweġiba, klassifikazzjoni, previżjoni). Dan huwa l-istadju ta' "użu" tal-mudell — b'kuntrast mat-taħriġ li joħolqu.
Ispejjeż u prestazzjoni tal-inferenza
Fil-produzzjoni, l-inferenza hija l-ispiża dominanti tal-IA: kull mistoqsija = tokens = tariffa tal-API. L-ottimizzazzjoni tinkludi: kwantizzazzjoni (tnaqqis tal-preċiżjoni tal-mudell, eż. fp16 għal-int8 — 2x aktar veloċi, 2x irħas), batching (gruppar tal-mistoqsijiet), speculative decoding, u KV cache.
Inferenza lokali vs cloud
L-inferenza lokali (fuq servers tal-kumpanija) telimina l-ispejjeż tal-API u t-tħassib dwar il-privatezza imma teħtieġ hardware GPU. L-inferenza cloud hija flessibbli imma tiġġenera ispejjeż u riskji ta' konformità. Ir-routing multi-livell jikkombina ż-żewġ approċċi.