Zašto je praćenje modela kritično?
AI modeli u produkciji nisu statični artefakti — oni degradiraju s vremenom. Podaci se mijenjaju (odmak podataka), poslovni kontekst evoluira, a korisničko ponašanje se prilagođava. Bez kontinuiranog praćenja, organizacije otkrivaju degradaciju modela tek kada poslovni rezultati počnu trpjeti — ponekad tjednima ili mjesecima nakon što je problem nastao.
Što pratiti
Statistike ulaznih podataka: distribucije, statistike sumarnih vrijednosti, detekcija odmaka. Statistike izlaza: distribucija predikcija, promjene obrasca. Poslovne metrike: prihvatanje AI preporuka, konverzije, zadovoljstvo korisnika. Tehničke metrike: latencija, propusnost, greške. Odmak koncepta: degradacija točnosti mjerena na označenim primjerima.
Odgovor na upozorenja
Automatizirani odgovori: upozorenje vlasniku modela, automatski rollback, povećanje Human-in-the-Loop provjeravanja, pokretanje procesa retreniranja. Ključan je definiran playbook za svaki tip degradacije — kada retrenirate vs. kada rollback vs. kada eskalirati na tim za podatke.