Що таке дрейф даних?
Дрейф даних (dryf danych) - це явище поступової зміни статистичного розподілу вхідних даних моделі AI у порівнянні з даними, на яких модель була тренована. Це природна наслідування змін у реальному світі - змінюються поведінка клієнтів, ринкові умови, сезонні тенденції, а навіть формат вихідних даних. Дрейф даних призводить до погіршення якості прогнозів, навіть якщо сама модель не змінилася.
Типи дрейфу
Виокремлюємо кілька типів: коваріантний зсув (зміна розподілу вхідних ознак), концептуальний зсув (зміна взаємозв'язку між ознаками та цілевою змінною), зсув апріорної ймовірності (зміна пропорції класів) та зсув ознак (зміна окремих змінних). Дрейф може бути раптовим (наприклад, пандемія), поступовим (сезонні тенденції), циклічним (вікендові моделі) або інкрементним. Кожен тип вимагає іншої стратегії виявлення та реакції.
Виявлення та реакція
Моніторинг дрейфу даних у виробництві включає: статистичні тести (KS-тест, chi-square, PSI - індекс стабільності населення), візуалізацію розподілів, систему оповіщень при перевищенні порогових значень та автоматичне повторне тренування. У корпоративному середовищі ключовим є інтеграція моніторингу дрейфу в конвеєр MLOps - кожен продукційний прогноз повинен бути оцінений з точки зору відхилення від тренувального розподілу, а суттєвий дрейф повинен запускати процес повторного тренування або ескалації.