Какво е наблюдаемост на AI?
Наблюдаемостта на AI е способността за мониторинг, разбиране и диагностициране на поведението на AI системи в продукционни среди. Включва проследяване на метрики за производителност, разходи за API, качество на отговорите, латентност, откриване на дрейф на модела и аномалии.
Три стълба
Подобно на наблюдаемостта в DevOps, наблюдаемостта на AI се основава на три стълба: метрики (латентност, пропускателна способност, цена на заявка, употреба на токени), логове (пълния път на заявката от входа до изхода, включително промптове и отговори) и трасирания (свързване на заявки с конкретни агенти, модели и вериги от извиквания).
Защо е критично важно?
Без наблюдаемост не знаете: дали моделът е започнал да генерира по-лоши отговори (дрейф), колко реално струва AI месечно, кои заявки отнемат най-много време или дали системата е уязвима за атаки.