Kaj je razložljiva UI?
Razložljiva UI (XAI) je zbirka tehnik za razumevanje in razlaganje, zakaj je model UI sprejel določeno odločitev. V nasprotju s "črno skrinjico" XAI zagotavlja vpogled v proces sklepanja modela.
Zakaj AI Act zahteva razložljivost?
AI Act (čl. 13) zahteva "preglednost" za visoko tvegane sisteme — uporabniki morajo razumeti, kako je sistem prišel do svoje odločitve. To velja za kreditno točkovanje, zaposlovanje, medicinsko diagnostiko. Pomanjkanje razložljivosti = regulativna neskladnost.
Tehnike XAI
SHAP — prikaže prispevek vsake značilnosti k odločitvi. LIME — lokalna aproksimacija s preprostejšim, interpretabilnim modelom. Karte pozornosti — vizualizacija, na kaj se je model "osredotočil" v vhodnih podatkih. Chain of Thought — izrecno korak-za-korakom sklepanje za generativne modele.