Что такое объяснимый AI?
Объяснимый AI (англ. Explainable AI, XAI) — это набор техник, позволяющих понять и объяснить, почему модель AI приняла определённое решение. В отличие от «чёрного ящика», XAI даёт представление о процессе рассуждения модели.
Почему AI Act требует объяснимости?
Регламент AI Act (ст. 13) налагает на системы высокого риска обязанность «прозрачности» — пользователь должен понимать, как система приняла решение. Это касается, например, систем кредитного скоринга, рекрутинга, медицинской диагностики. Отсутствие объяснимости = регуляторное несоответствие.
Техники XAI
SHAP (Shapley Additive Explanations) — показывает вклад каждого признака в решение. LIME (Local Interpretable Model-agnostic Explanations) — локальное приближение модели более простой, интерпретируемой моделью. Attention maps — визуализация того, на что модель «смотрела» во входных данных. Chain of Thought — явное пошаговое рассуждение (для генеративных моделей).