Što je promatranje AI sustava?
Promatranje AI sustava je sposobnost praćenja, razumijevanja i dijagnosticiranja ponašanja AI sustava u produkcijskim okruženjima. Uključuje praćenje metrika performansi, troškova API-ja, kvalitete odgovora, latencije, otkrivanje pomaka modela i anomalija.
Tri stupa
Kao i DevOps promatranje, AI promatranje počiva na tri stupa: metrike (latencija, propusnost, trošak po upitu, potrošnja tokena), zapisi (potpuni put upita od ulaza do izlaza, uključujući promptove i odgovore) i tragovi (povezivanje upita s određenim agentima, modelima i lancima poziva).
Zašto je to kritično?
Bez promatranja ne znate: je li model počeo generirati lošije odgovore (pomak), koliko AI zapravo košta mjesečno, koji upiti oduzimaju najviše vremena ili je li sustav ranjiv na napade.