Защо мониторинг
Моделите, излизащи добре от предварителна оценка, могат да се влошат в производство с промяна на реалните данни от обучаващите. Без производствен мониторинг, моделите могат тихо да загубят качество - понякога седмици или месеци по-късно.
Метрики за мониторинг
Мониторингът обхваща метрики на множество нива: мониторинг на входа (проследяване дали входовете се отклоняват статистически от обучаващите данни), мониторинг на изхода (проследяване на разпределенията на вероятностите), мониторинг на производителността (проследяване на бизнес или качествени метрики) и мониторинг на изчислителната производителност (латентност и използване на ресурси).
Прагове за аларми
Дефинирайте прагове за аларми преди внедряването - не след него. Имайте предвид предварителна проверка (а не само проверки за производителност) и се уверете, че имате дефиниран процес за реакция.