Що таке отруєння даних?
Отруєння даних (data poisoning) - це форма атаки, у якій зловмисний актор маніпулює тренувальними даними, щоб вплинути на поведінку моделі AI. Це може включати додавання фальшивих прикладів, зміну міток (label flipping), видалення ключових даних або тонку модифікацію існуючих записів. Результатом є модель, яка приймає помилкові рішення в певних сценаріях, зберігаючи при цьому загальну продуктивність.
Сценарії загроз
У корпоративному середовищі отруєння даних може торкнутися систем рекомендацій (просування конкретних продуктів), моделей оцінки (фаворитизм щодо певних суб'єктів), систем виявлення шахрайств (приховування зразків шахрайства) або моделей рекрутингу (введення дискримінації). Загроза зростає, коли організації покладаються на зовнішні джерела даних або краудсорсинг для маркування.
Захист цілісності даних
Ефективна оборона включає в себе валідування та санітарну обробку вхідних даних, моніторинг розподілу даних (data distribution monitoring), техніки стійкого навчання, стійкі до забруднених зразків, аудит походження даних та обмеження доступу до тренувального конвеєра. Організації повинні впровадити політики управління тренувальними даними з повною аудиторською трасою та контролем версій наборів даних.