Späť na slovník Bezpečnosť

Otravenie dat

Utoky otravením dat poskodzu trenovacie datové sady AI, aby manipulovali spravanjem modelu, zavádzajuc zaujatosti alebo backdoory pretrvávajuce po trénovaní.

Pochopenie otravenia dat

Otravenie dat je technika utoku, kde útocníci zámerné zavádzaju poškodené, nesprávne oznacené alebo škodlivé vzorky do trenovacej datovej sady AI systému. Pretože modely strojového ucenia sa priamo ucia vzory z dat, aj malé percento otravených vzoriek môze vyznamne zmenit správanie modelu. Tieto utoky su zvlást nebezpecné, pretože nastávaju pred trénovaním.

Bežné vzory útoku

Utoky prevrátením štítkov menia štítky trenovacích príkladov na sposobenie systematickej chybnej klasifikácie. Utoky cistymi štítkami vkladaju správne oznacené, ale adversariálne vytvorené príklady, ktore posúvaju rozhodovaxie hranice. Dostupnostné utoky degraduju celkový vykon modelu vkladaním šumu.

Podnikové zmiernovanie

Obrana proti otraveniu dat vyzaduje prísnu správu dat v celom životnom cykle AI. Sledovanie proveniencie dat zabezpecuje, ze každý trenovací vzor má overený zdroj. Techniky detekcie štatistickych odlahlých hodnôt a sanitácie datovej sady môzu identifikovat anomálne vzorky pred trénovaním.

Súvisiace služby a produkty