Що таке пояснювана AI?
Пояснювана AI (англ. Explainable AI, XAI) - це сукупність технік, що дозволяють зрозуміти та пояснити, чому модель AI прийняла певне рішення. На відміну від "чорної скриньки", XAI надає можливість зрозуміти процес мислення моделі.
Чому AI Act вимагає пояснюваності?
Регламент AI Act (стаття 13) накладає на системи високого ризику обов'язок "прозорості" - користувач повинен розуміти, як система прийняла рішення. Це стосується, наприклад, систем оцінки кредитоспроможності, підбору кадрів, медичної діагностики. Відсутність пояснюваності означає невідповідність нормативним вимогам.
Техніки XAI
SHAP (Shapley Additive Explanations) - показує внесок кожної ознаки у рішення. LIME (Local Interpretable Model-agnostic Explanations) - локальне наближення моделі простішою, інтерпретовною моделлю. Attention maps - візуалізація того, на що модель "дивилася" у вхідних даних. Chain of Thought - явне мислення крок за кроком (для генеративних моделей).