Atpakaļ uz vārdnīcu Drošība

Datu saindēšana

Datu saindēšana ir uzbrukums, kurā ļaunprātīgi dati tiek ievietoti AI modeļa apmācības kopā, lai manipulētu tā uzvedību, apdraudot modeļa integritāti un drošību.

Kas ir datu saindēšana?

Datu saindēšana ir drošības uzbrukums, kurā uzbrucējs apzināti modificē vai pievieno ļaunprātīgus datus AI modeļa apmācības kopai. Mērķis ir manipulēt modeļa iemācīto uzvedību — likt tam pieņemt nepareizus lēmumus, ieviest aizmugures durvis, kas aktivizējas konkrētos apstākļos, vai degradēt kopējo veiktspēju. Šis uzbrukuma veids ir īpaši bīstams, jo tā sekas ir grūti atklāt pēc modeļa apmācības.

Uzbrukumu veidi

Etiķešu apvēršana maina apmācības datu etiķetes, liekot modelim mācīties nepareizas asociācijas. Aizmugures durvju uzbrukumi ievieš slēptus trigerus, kas aktivizē noteiktu uzvedību tikai ar konkrētu ievadi. Pieejamības uzbrukumi degradē modeļa kopējo veiktspēju, padarot to nelietojamu. Mērķēti uzbrukumi manipulē modeļa izvadi tikai konkrētiem iepriekš noteiktiem gadījumiem.

Aizsardzība

Datu izcelsmes izsekošana reģistrē katra datu elementa avotu un vēsturi. Statistiskā anomāliju atklāšana identificē aizdomīgus datu paraugus. Robusto apmācības metodes (piemēram, trimming, robust aggregation) mazina saindētu datu ietekmi. Regulāra modeļa uzvedības testēšana ar tīru validācijas kopu atklāj veiktspējas anomālijas. Datu piegādes ķēdes drošība ierobežo piekļuvi apmācības datiem.

Saistītie pakalpojumi un produkti