Некоторые основные трудности при интерпретации результатов машинного обучения:

• Недостаточное понимание алгоритма. 1 Особенно сложно работать с нейросетями из-за множества параметров. 1 Если не знать, как алгоритм выводит результат, нельзя быть уверенным, что он не выводит несуществующие корреляции между переменными. 1
• Плохое понимание исходных данных. 1 Распространённые затруднения — ошибки в сборе данных, например, квантования, неточности считывания и использование замещающих переменных. 1
• Искажения в исходных данных. 3 Они могут привести к созданию предвзятых моделей, поддерживающих неравенство. 3 Неспособность обнаружить аномалии также может снизить точность прогнозирования. 3
• Игнорирование пропущенных значений. 3 Эти значения могут отсутствовать из-за повреждения данных или сбоя при записи данных. 3 Игнорирование пропущенных значений может привести к смещению и неточным прогнозам. 3
• Переобучение. 4 Модель обучается на смещённых или слишком больших объёмах обучающих данных. 4 Переобучение негативно влияет на производительность модели после развёртывания. 4
• Недообучение. 4 Модель обучается с такими данными, которые заставляют её устанавливать неоднозначную связь между входными и выходными переменными. 4
• Несоответствующие фичи. 4 Когда в обучающем датасете слишком много нерелевантных фичи или чрезмерно связанных друг с другом предикторов, система машинного обучения может не дать желаемых результатов. 4

Кроме того, методы интерпретации результатов машинного обучения могут иметь свои ограничения и не всегда давать полную картину того, как работает модель. 5 Также не все модели могут быть легко интерпретированы, например, нейронные сети. 5