Чому слід моніторити моделі?
Модель AI, розгорнута в продакшені, не є готовим продуктом — це живий компонент системи, чия якість змінюється з часом. Вхідні дані еволюціонують (data drift), відносини між змінними змінюються (concept drift), з'являються нові закономірності, відсутні в тренувальних даних. Без постійного моніторингу організація не знає, чи модель надалі забезпечує вартість — чи, можливо, генерує дедалі гірші прогнози, піддаючи компанію ризику фінансових втрат та регуляторних ризиків.
Що слід моніторити?
Комплексний моніторинг охоплює: метрики продуктивності моделі (accuracy, latency, throughput), розподіли вхідних даних (виявлення data drift), розподіли прогнозів (prediction drift), бізнесові метрики (конверсія, прибуток, задоволеність), споживання ресурсів (CPU, GPU, пам'ять), аномалії в окремих прогнозах (outlier detection), метрики справедливості за підгрупами, а також журнали та аудиторські траси. Система оповіщень повинна охоплювати як статичні пороги, так і динамічне виявлення аномалій.
Реакція на деградацію
Виявлення проблеми — це лише початок — ключовими є визначені процедури реагування: автоматичне повторне навчання при перевищенні порогу дрейфу, повернення до попередньої версії моделі, ескалація до команди ML при аномаліях, регулярне звітування про стан моделей зацікавленим бізнес-сторонам. В підприємств моніторинг моделей є невід'ємною частиною платформи MLOps, з панелями керування, доступними як для інженерів, так і для бізнес-рішенняків.