Que é a Observabilidade de IA?
A observabilidade de IA é a capacidade de monitorizar, comprender e diagnosticar o comportamento dos sistemas de IA en contornos de produción. Inclúe o seguimento de métricas de rendemento, custos de API, calidade de respostas, latencia, detección de deriva do modelo e anomalías.
Tres piares
Como a observabilidade DevOps, a observabilidade de IA baséase en tres piares: métricas (latencia, rendemento, custo por consulta, uso de tokens), rexistros (ruta completa da consulta desde a entrada ata a saída, incluíndo prompts e respostas) e trazas (vinculación de consultas con axentes, modelos e cadeas de chamadas específicas).
Por que é crítico?
Sen observabilidade, non sabedes: se o modelo comezou a xerar respostas peores (deriva), canto custa realmente a IA mensualmente, cales consultas tardan máis tempo, ou se o sistema é vulnerable a ataques.