В чем заключается проблема интерпретируемости в современных нейронных сетях?

Проблема интерпретируемости в современных нейронных сетях заключается в сложности понимания, как эти модели делают прогнозы или принимают решения. 2

Некоторые аспекты проблемы:

• Работа как «чёрного ящика». 23 Даже должным образом обученная нейросеть не даёт информации о внутренней структуре проблемы и выявленных зависимостях в данных. 3
• Нелинейность и множество параметров. 2 Глубокие нейронные сети в высшей степени нелинейны, что затрудняет их интерпретацию. 2
• Субъективность интерпретируемости. 2 Модель, понятная специалисту по обработке данных, может быть недоступна для понимания специалистом в другой области. 2
• Масштабируемость. 2 Некоторые методы интерпретации требуют больших вычислительных затрат, особенно для больших моделей или наборов данных. 2

Проблема интерпретируемости важна, например, для обеспечения доверия к решениям моделей в критически важных приложениях, таких как здравоохранение, финансы или юриспруденция. 2

Для решения проблемы разрабатываются методы повышения интерпретируемости алгоритмов машинного обучения, изобретаются способы объяснения и методы встраивания интерпретируемости в модели. 5