O que é a observabilidade de IA?
A observabilidade de IA é a capacidade de monitorizar, compreender e diagnosticar o comportamento dos sistemas de IA em ambientes de produção. Inclui o rastreamento de métricas de desempenho, custos de API, qualidade das respostas, latência, deteção de deriva dos modelos e anomalias.
Três pilares
Como a observabilidade DevOps, a observabilidade de IA assenta em três pilares: métricas (latência, throughput, custo por consulta, consumo de tokens), logs (caminho completo da consulta da entrada à saída, incluindo prompts e respostas) e traces (ligação de consultas a agentes, modelos e cadeias de chamadas específicas).
Porque é crítico?
Sem observabilidade, não sabe: se o modelo começou a gerar piores respostas (deriva), quanto a IA custa realmente por mês, quais consultas demoram mais, ou se o sistema é vulnerável a ataques.