В чем заключается феномен проклятия размерности?

«Проклятие размерности» — явление, которое возникает в анализе данных и машинном обучении в пространствах высокой размерности и связано с ухудшением работы обучаемых моделей, построенных на большом числе признаков. 2

Некоторые проблемы, с которыми связано «проклятие размерности»:

• Увеличение вычислительных затрат при работе аналитических алгоритмов из-за необходимости обрабатывать большее число переменных. 2
• Увеличение объёма пространства признаков при сохранении неизменным числа наблюдений в обучающих данных. 2 В результате данные перестают покрывать достаточную область пространства признаков, их становится недостаточно для построения качественной аналитической модели. 2
• Искажение формы статистических законов распределения с увеличением размерности: снижается их локализация около среднего значения. 2 Это негативно влияет на работу статистических моделей. 2
• Снижение выразительности представления в данных зависимостей и закономерностей, выраженности кластерных структур из-за того, что с ростом числа измерений попарные расстояния между векторами объектов стремятся к одному значению. 2

Впервые термин «проклятие размерности» ввёл Ричард Беллман применительно к общей задаче динамического программирования. 13