Què és l'Observabilitat d'IA?
L'observabilitat d'IA és la capacitat de monitoritzar, comprendre i diagnosticar el comportament dels sistemes d'IA en entorns de producció. Inclou el seguiment de mètriques de rendiment, costos d'API, qualitat de respostes, latència, detecció de deriva del model i anomalies.
Tres pilars
Com l'observabilitat DevOps, l'observabilitat d'IA es basa en tres pilars: mètriques (latència, rendiment, cost per consulta, ús de tokens), registres (ruta completa de la consulta des de l'entrada fins a la sortida, incloent prompts i respostes) i traces (vinculació de consultes amb agents, models i cadenes de trucades específiques).
Per què és crític?
Sense observabilitat, no sabeu: si el model ha començat a generar respostes pitjors (deriva), quant costa realment la IA mensualment, quines consultes triguen més temps, o si el sistema és vulnerable a atacs.