Каковы основные ограничения и проблемы, связанные с интерпретируемостью нейронных сетей?

Некоторые основные ограничения и проблемы, связанные с интерпретируемостью нейронных сетей:

• Сложность содержательной интерпретации смысла входных сигналов и весовых коэффициентов. 2 Это так называемая «проблема интерпретируемости весовых коэффициентов». 2
• Сложность содержательной интерпретации и обоснования аддитивности аргумента и вида активационной (передаточной) функции нейрона. 2 Это «проблема интерпретируемости передаточной функции». 2
• Непрозрачность. 5 Нейронные сети работают на основе сложных математических операций, и их решения не всегда понятны для людей. 5 Это делает трудным объяснение принятых решений и понимание причин, по которым нейронные сети делают определённые выводы. 5

Эти проблемы ограничивают применение нейронных сетей в задачах, где требуется объяснить причины принятого решения, например, в медицине или финансовой сфере. 5