Kas ir pretvērstie uzbrukumi?
Pretvērstie uzbrukumi ir apzinātas manipulācijas ar AI sistēmu ievades datiem, lai maldinātu modeli un izraisītu nepareizu uzvedību. Piemēram, nemanāmas pikseļu izmaiņas attēlā var likt datorredzes modelim klasificēt stop zīmi kā ātruma ierobežojuma zīmi. Šie uzbrukumi atklāj fundamentālas AI modeļu ievainojamības un ir nopietns drošības risks, īpaši kritiskos pielietojumos.
Uzbrukumu veidi
Izvairīšanās uzbrukumi modificē ievades datus inferrences laikā, lai apietu modeļa klasifikāciju. Saindēšanas uzbrukumi manipulē apmācības datus, lai ieviestu aizmugures durvis vai aizspriedumus modelī. Modeļa zādzības uzbrukumi iegūst pietiekami daudz informācijas par modeli, lai izveidotu tā kopiju. Privātuma uzbrukumi iegūst sensitīvu informāciju par apmācības datiem no modeļa atbildēm.
Aizsardzības stratēģijas
Pretvērstā apmācība iekļauj pretvērstos piemērus apmācības datos, lai uzlabotu modeļa noturību. Ievades validācija atklāj un filtrē manipulētas ievades. Modeļa sacietēšana izmanto tehnikas kā defensīvo destilāciju un gradienta maskēšanu. Daudzslāņu aizsardzība kombinē vairākus modeļus un metodes. Nepārtraukta uzraudzība atklāj anomālas ievades un neparastu modeļa uzvedību produkcijā.