Data governance как фундамент AI
Когда организация запускает первую систему AI и обнаруживает, что прогнозы непоследовательны, а модель выдаёт абсурдные результаты, первым порывом становится поиск ошибок в алгоритме. В 80% случаев истинная причина кроется в другом: входные данные неполны, непоследовательно размечены или отражают старые бизнес-процессы, давно утратившие силу. Data governance — это набор процессов и инструментов, предотвращающий эти проблемы до того, как они станут дорогостоящими.
Качество данных: измерения и оценка
Качество данных не является одномерным понятием. Практическое управление качеством требует измерения нескольких независимых измерений:
- Полнота: какая доля обязательных полей заполнена? Незаметные пустые значения в таблицах исходных систем способны разрушить прогнозные модели.
- Согласованность: имеют ли одни и те же данные, записанные в разных системах, идентичное значение? Расхождения между CRM и ERP в базовых атрибутах клиента – распространённая проблема.
- Актуальность: насколько устарели данные по сравнению с реальностью? Для систем AI, работающих в реальном времени, это критическое измерение.
- Точность: отражают ли данные реальность? Проверка требует внешних референсных источников или ручной выборки.
Каталог данных: где что находится и что означает
В зрелой организации данные хранятся в десятках систем, баз данных и файлов. Без каталога данных новый проект AI начинается с недель выяснения: где данные о заказах? Что означает поле «status_v2» в таблице клиентов? Кто отвечает за качество данных о продажах?
Каталог данных отвечает на эти вопросы автоматически, сканируя исходные системы и обогащая технические метаданные бизнес-описаниями, информацией о владельцах и классификациями чувствительности. Для систем AI критично, чтобы каталог был доступен инструментам автоматизации, ведь тогда модель AI может сама изучить доступные источники данных перед началом анализа.
Data lineage: отслеживание потока данных
Когда модель AI выдаёт подозрительный результат, расследование должно ответить на вопрос: откуда взялось это значение и какие трансформации оно прошло по пути? Data lineage автоматически фиксирует поток данных от источника через последовательные трансформации вплоть до финальной таблицы или модели. Этот инструмент необходим не только для отладки, но и для compliance: регуляции GDPR, DORA и отраслевые требования обязывают документировать, откуда берутся данные, используемые в решениях, касающихся физических лиц.
Управление мастер-данными (MDM)
В каждой крупной организации есть проблема множественных определений одних и тех же сущностей: клиент в CRM, клиент в финансовой системе и клиент на платформе электронной коммерции часто являются тремя разными объектами, которые должны представлять одно и то же лицо или компанию. Управление мастер-данными создаёт одну достоверную запись каждого ключевого объекта и распространяет её на производные системы. Без MDM системы AI обучаются на данных, где один и тот же клиент рассматривается как три разных.
С чего начать: итеративный подход
Data governance не обязан быть многолетним проектом перед запуском какой-либо системы AI. Практический подход заключается в построении governance параллельно с первыми внедрениями: определите наиболее критичные наборы данных для планируемой системы AI и начните с профиля их качества. Расширяйте охват постепенно, учась на реальных промышленных проблемах.