Какво е обяснима AI?
Обяснимата AI (XAI) е колекция от техники за разбиране и обяснение защо AI модел е взел конкретно решение. За разлика от „черната кутия“, XAI предоставя поглед в процеса на разсъждение на модела.
Защо AI Act изисква обяснимост?
AI Act (чл. 13) изисква „прозрачност“ за системи с висок риск — потребителите трябва да разберат как системата е достигнала до решението си. Това се отнася за кредитен скоринг, набиране на персонал, медицинска диагностика. Липса на обяснимост = несъответствие с регулацията.
Техники за XAI
SHAP — показва приноса на всяка характеристика към решението. LIME — локална апроксимация с по-прост, интерпретируем модел. Карти на вниманието — визуализация на какво моделът е „гледал“ във входните данни. Chain of Thought — изрично стъпково разсъждение за генеративни модели.