Управління даними як основа для AI
Коли організація запускає перший систему AI і виявляє, що прогнози є несумісними, а модель генерує абсурдні результати, першим рефлексом є пошук помилок в алгоритмі. У 80% випадків справжня причина лежить десь інде: вихідні дані є неповними, несумісними або відображають старі бізнес-процеси, які давно перестали діяти. Управління даними - це набір процесів і інструментів, який запобігає цим проблемам, перш ніж вони стануть дорогими.
Якість даних: виміри та вимірювання
Якість даних не є одновимірним поняттям. Практичне управління якістю вимагає вимірювання кількох незалежних вимірів:
- Повнота: який відсоток обов'язкових полів заповнено? Невидимі пусті значення в таблицях джерельних систем можуть зруйнувати передбачувальні моделі.
- Сумісність: чи ті самі дані, записані в різних системах, мають ідентичну вартість? Розбіжності між CRM та ERP у базових атрибутах клієнта - це поширена проблема.
- Актуальність: наскільки старі дані у порівнянні з реальністю? Для систем AI, які працюють у реальному часі, це критичний вимір.
- Точність: чи дані відображають реальність? Верифікація вимагає зовнішніх джерел порівняння або ручного вибіркового контролю.
Каталог даних: де що є і що означає
У зрілій організації дані зберігаються в десятках систем, баз даних та файлів. Без каталогу даних новий проєкт AI починається з тижнів дослідження: де дані про замовлення? Що означає поле "status_v2" у таблиці клієнтів? Хто відповідає за якість даних про продажі?
Каталог даних відповідає на ці питання автоматично, скануючи системи джерельних даних та збагачуючи технічні метадані описами бізнесу, інформацією про власників та класифікаціями чутливості. Для систем AI ключовим є те, щоб каталог був доступний для інструментів автоматизації, бо модель AI може тоді сама вивчити доступні джерела даних перед початком аналізу.
Data lineage: відстеження потоку даних
Коли модель AI генерує підозрілий результат, слідство повинно відповісти на питання: звідки походить це значення і які трансформації воно пройшло по дорозі? Data lineage автоматично реєструє потік даних від джерела через послідовні трансформації аж до фінальної таблиці чи моделі. Це інструмент необхідний не тільки для налагодження, але й для відповідності вимогам: регуляції GDPR, DORA та секторові вимагають документування, звідки походять дані, використовувані у рішеннях, що стосуються фізичних осіб.
Управління даними-еталонами (MDM)
Кожна велика організація має проблему з багатьма визначеннями одних і тих же об'єктів: клієнт у CRM, клієнт у фінансовій системі та клієнт на платформі електронної комерції часто є трьома різними сутностями, які повинні представляти одну і ту ж особу чи фірму. Управління даними-еталонами створює один надійний запис кожного ключового об'єкта та поширює його до похідних систем. Без MDM системи AI вчаться на даних, де той самий клієнт розглядався як три різних.
Як почати: ітеративний підхід
Керування даними не обов'язково повинно бути багаторічним проєктом до запуску будь-якої системи AI. Практичний підхід полягає у будівництві керування паралельно з першими впровадженнями: ідентифікуйте найкритичніші набори даних для запланованої системи AI і почніть з їхнього профілю якості. Розширюйте обсяг поступово, навчаючись на реальних виробничих проблемах.