Разница между объяснимым и непрозрачным искусственным интеллектом заключается в уровне прозрачности работы системы. 24

Объяснимый искусственный интеллект (Explainable AI, XAI) стремится создать системы и модели, которые способны объяснять свои действия и принимать решения понятным для людей образом. 26 Основная цель такого ИИ — сделать принятие решений в системах прозрачным и доступным. 2

Непрозрачный искусственный интеллект, или «чёрный ящик», принимает решения на основе миллиардов вычислительных операций, и зачастую даже разработчики не могут объяснить, почему алгоритм выбрал именно такой ответ. 9

Некоторые последствия непрозрачности ИИ:

• сложно предсказать, как система поведёт себя в стрессовой или редкой ситуации; 9
• ошибки алгоритмов трудно отследить, что усложняет их исправление; 9
• невозможно провести полный аудит принятия решений, особенно если речь идёт о правовых или медицинских вопросах. 9

Некоторые преимущества объяснимого ИИ:

• повышение производительности и более быстрое выявление ошибок в модели; 6
• укрепление доверия со стороны клиентов и пользователей; 6
• снижение регуляторных и других рисков. 6