Czym jest data poisoning?
Data poisoning (zatrucie danych) to forma ataku, w której złośliwy aktor manipuluje danymi treningowymi, aby wpłynąć na zachowanie modelu AI. Może to oznaczać dodanie zafałszowanych przykładów, zmianę etykiet (label flipping), usunięcie kluczowych danych lub subtelną modyfikację istniejących rekordów. Efektem jest model, który podejmuje błędne decyzje w określonych scenariuszach, zachowując pozornie normalną wydajność ogólną.
Scenariusze zagrożeń
W środowisku enterprise data poisoning może dotykać systemów rekomendacyjnych (promowanie konkretnych produktów), modeli scoringowych (faworyzowanie określonych podmiotów), systemów detekcji fraudów (ukrywanie wzorców oszustw) czy modeli rekrutacyjnych (wprowadzanie dyskryminacji). Zagrożenie rośnie, gdy organizacje polegają na zewnętrznych źródłach danych lub crowdsourcingu do etykietowania.
Ochrona integralności danych
Skuteczna obrona obejmuje walidację i sanityzację danych wejściowych, monitoring rozkładu danych (data distribution monitoring), techniki robust learning odporne na zanieczyszczone próbki, audyt provenance danych oraz ograniczanie dostępu do pipeline'u treningowego. Organizacje powinny wdrożyć polityki zarządzania danymi treningowymi z pełną ścieżką audytu i kontrolą wersji datasetów.