Co je pozorovatelnost AI?
Pozorovatelnost AI je schopnost monitorovat, chápat a diagnostikovat chování AI systémů v produkčním prostředí. Zahrnuje sledování metrik výkonu, nákladů API, kvality odpovědí, latence, detekci driftu modelu a anomálií.
Tři pilíře
Stejně jako pozorovatelnost v DevOps stojí pozorovatelnost AI na třech pilířích: metriky (latence, propustnost, náklady na dotaz, spotřeba tokenů), logy (kompletní cesta dotazu od vstupu po výstup, včetně promptů a odpovědí) a traces (propojení dotazů s konkrétními agenty, modely a řetězci volání).
Proč je to kritické?
Bez pozorovatelnosti nevíte: zda model začal generovat horší odpovědi (drift), kolik AI skutečně stojí měsíčně, které dotazy zabírají nejvíce času nebo zda je systém zranitelný vůči útokům.