Zakaj je vrednotenje kritično?
Vrednotenje modelov UI je proces, ki določa, ali je model pripravljen za produkcijsko uvajanje in kako dobro izpolnjuje poslovne cilje. Brez strogega vrednotenja organizacije uvajajo modele, ki ne delujejo na resničnih podatkih.
Dimenzije vrednotenja
Točnost modela: standardne metrike ML. Robustnost: zmogljivost pri distribucijskih premikih. Pravičnost: doslednost metrik prek demografskih podskupin. Umirjenost: izhodne verjetnosti odražajo dejansko negotovost.
Vrednotenje LLM-ov
Vrednotenje generativnih modelov prinaša izzive: samodejne metrike pogosto slabo korelirajo s kakovostjo, ki jo zazna človek. LLM-kot-sodnik je priljubljen pristop.