Що таке спостережуваність AI?
Спостережуваність AI (англ. AI observability) — це здатність відстежувати, розуміти та діагностувати поведінку систем AI в продуктивному середовищі. Вона включає в себе відстеження метрик продуктивності, вартості API, якості згенерованих відповідей, затримки, виявлення дрейфу моделі та аномалій.
Три стовпи спостережуваності
Аналогічно до DevOps, спостережуваність AI базується на трьох стовпах: метрики (затримка, пропускна здатність, вартість за запит, використання токенів), логи (повний шлях запиту від входу до виходу, включаючи промпт і відповідь) і сліди (трейси — зв'язок запиту з конкретним агентом, моделлю, ланцюжком викликів).
Чому це важливо?
Без спостережуваності ви не знаєте: чи модель почала генерувати гірші відповіді (дрейф), скільки насправді коштує вам AI щомісяця, які запити займають найбільше часу, чи система вразлива до атак. У підприємстві це основа SLA та відповідності вимогам.