Zer dira IAren erreferentziazko balioak?
IAren erreferentziazko balioak datu-, zeregin- eta ebaluazio-protokolo estandarizatuen multzoak dira, IAko modeloen errendimendua neurtu eta konparatzeko diseinatuak. Erreferentzia komunean funtzionatzen dute, ikertzaile, profesional eta erakundeek modeloaren gaitasunak objektiboki ebaluatzeko aukera ematen dietenak. Ezagunenetariko batzuk MMLU arrazonamendu orokorrerako, HumanEval kodearen sorrerarako, GLUE eta SuperGLUE hizkuntza naturaleko ulermenerako eta ImageNet ikusmenaren aitortzerako dira. Erreferentziazko balioek aurrerapena bultzatzen dute helburu argiak ezarriz eta konparazioak erreproduzitzeko aukera emanez.
Kategoriak nagusiak
Modelo linguistikoen erreferentziazko balioak arrazonamendua (MMLU, ARC), kodearen sorrera (HumanEval, MBPP), gaitasun matematikoa (GSM8K, MATH) eta kalitate konbersazionala (MT-Bench, Chatbot Arena) ebaluatzen dute. Ikusmen artifizialarenak klasifikazioa, detekzioa eta segmentazioa ebaluatzen dute. Arlo zehatzen erreferentziazko balioek medikuntza-arrazonamendua, analisi juridikoa eta finantza-aurreikuspena helburu dituzte. Multimodalek testua, irudiak eta datu-mota beste batzuk prozesatzen dituzten modeloak ebaluatzen dituzte. Segurtasunarenak sarrera aurkarien, alborapen eta eduki kaltegarrien aurrean duten erresistentzia neurtzen dute.
Enpresa-ikuspegia
Erreferentziazko balio publikoek oinarrizko lerro erabilgarriak eskaintzen dituzte arren, enpresek beren kasuak eta datu-banaketa zehatzak lerrokatuta dauden erreferentziazko balio internak garatu behar dituzte. Erreferentziazko balio publikoetan lortutako errendimendua ez da beti benetan eraginkorra domeinu berezietan. Ebaluazio-multzoak sortu eurekoen ekoizpen-daturi dagozkion datuetatik, kasu muturrekoak eta huts-egoera zehatzak barne, enpresa-ingurunean. Puntuazioak denboran zehar jarraitu eta erreferentziazko balioak erabili beste faktore bat gisa — negozio-metrikak, erabiltzaileen iruzkinak eta betebeharrak ere erabakiak gidatu behar dute.