Что такое наблюдаемость AI?
Наблюдаемость AI (англ. AI observability) — это способность отслеживать, понимать и диагностировать поведение систем AI в производственной среде. Включает отслеживание метрик производительности, затрат на API, качества генерируемых ответов, задержки, обнаружение дрейфа модели и аномалий.
Три столпа наблюдаемости
Как и в DevOps, наблюдаемость AI опирается на три столпа: метрики (задержка, пропускная способность, стоимость на запрос, потребление токенов), логи (полный путь запроса от входа до выхода, включая промпт и ответ) и трейсы (traces — связь запроса с конкретным агентом, моделью, цепочкой вызовов).
Почему это критично?
Без наблюдаемости вы не знаете: начала ли модель генерировать худшие ответы (дрейф), сколько на самом деле стоит вам AI ежемесячно, какие запросы занимают больше всего времени, и не подвержена ли система атакам. В enterprise это основа SLA и комплаенса.