Čo je pozorovateľnosť AI?
Pozorovateľnosť AI je schopnosť monitorovať, chápať a diagnostikovať správanie AI systémov v produkčnom prostredí. Zahŕňa sledovanie metrík výkonu, nákladov API, kvality odpovedí, latencie, detekciu driftu modelu a anomálií.
Tri piliere
Rovnako ako pozorovateľnosť v DevOps stojí pozorovateľnosť AI na troch pilieroch: metriky (latencia, priepustnosť, náklady na dotaz, spotreba tokenov), logy (kompletná cesta dotazu od vstupu po výstup, vrátane promptov a odpovedí) a traces (prepojenie dotazov s konkrétnymi agentmi, modelmi a reťazcami volaní).
Prečo je to kritické?
Bez pozorovateľnosti neviete: či model začal generovať horšie odpovede (drift), koľko AI skutočne stojí mesačne, ktoré dotazy zaberajú najviac času alebo či je systém zraniteľný voči útokom.