Ce este observabilitatea AI?
Observabilitatea AI este capacitatea de a monitoriza, înțelege și diagnostica comportamentul sistemelor AI în medii de producție. Include urmărirea metricilor de performanță, costurilor API, calității răspunsurilor, latenței, detectarea driftului modelului și a anomaliilor.
Trei piloni
Ca și observabilitatea DevOps, observabilitatea AI se bazează pe trei piloni: metrici (latență, debit, cost per interogare, consum de tokeni), loguri (calea completă a interogării de la intrare la ieșire, inclusiv prompturi și răspunsuri) și trace-uri (corelarea interogărilor cu agenți, modele și lanțuri de apeluri specifice).
De ce este critic?
Fără observabilitate, nu știți: dacă modelul a început să genereze răspunsuri mai slabe (drift), cât costă efectiv AI-ul lunar, care interogări durează cel mai mult sau dacă sistemul este vulnerabil la atacuri.