Mi a magyarázható AI?
A magyarázható AI (XAI) olyan technikák gyűjteménye, amelyek segítenek megérteni és elmagyarázni, hogy az AI-modell miért hozott egy adott döntést. A „fekete dobozzal" szemben az XAI betekintést nyújt a modell gondolkodási folyamatába.
Miért követeli meg az AI Act a magyarázhatóságot?
Az AI Act (13. cikk) „átláthatóságot" ír elő a magas kockázatú rendszerek számára — a felhasználóknak meg kell érteniük, hogyan jutott a rendszer a döntéséhez. Ez vonatkozik a hitelpontozásra, a toborzásra és az orvosi diagnosztikára. A magyarázhatóság hiánya = szabályozási meg nem felelés.
XAI-technikák
SHAP — megmutatja az egyes jellemzők hozzájárulását a döntéshez. LIME — helyi közelítés egyszerűbb, értelmezhető modellel. Figyelemtérképek — annak vizualizálása, hogy a modell „mire nézett" a bemeneti adatokban. Chain of Thought — explicit lépésről lépésre történő következtetés a generatív modelleknél.