Что такое аннотация данных?
Аннотация данных (data labeling) — это процесс присвоения меток, категорий или тегов сырым данным — тексту, изображениям, аудио или видео, — чтобы они могли служить обучающими данными для моделей обучения с учителем. Это фундамент большинства систем AI: качество аннотации напрямую определяет качество модели. Процесс включает определение схемы аннотации, разметку данных аннотаторами и контроль качества меток.
Методы и инструменты
Аннотация может выполняться вручную (доменными экспертами), полуавтоматически (AI-assisted labeling — модель предлагает, человек проверяет) или программно (weak supervision, labeling functions). Типы аннотации включают: классификацию текста (тональность, намерения), распознавание сущностей (NER), сегментацию изображений, bounding boxes, транскрипцию аудио и аннотацию отношений. Корпоративные инструменты (Label Studio, Prodigy, Scale AI) поддерживают workflow с контролем качества и управлением аннотаторами.
Вызовы enterprise
Ключевые вызовы: обеспечение согласованности между аннотаторами (inter-annotator agreement), масштабирование процесса при больших наборах данных, управление качеством (golden sets, выборочный аудит), защита чувствительных данных в процессе аннотации и стоимость — экспертная аннотация дорога, а дешёвая аннотация создаёт шум. Стратегия active learning оптимизирует затраты, направляя на аннотацию образцы, наиболее ценные для модели.