В чём заключается эффект проклятия размерности?

«Проклятие размерности» — явление, которое возникает в анализе данных и машинном обучении в пространствах высокой размерности и связано с ухудшением работы обучаемых моделей, построенных на большом числе признаков. 2

Некоторые аспекты эффекта проклятия размерности:

• Увеличение вычислительных затрат при работе аналитических алгоритмов из-за необходимости обрабатывать большее число переменных. 2
• Данные перестают покрывать достаточную область пространства признаков, их становится недостаточно для построения качественной аналитической модели. 2
• Модели машинного обучения, особенно основанные на расстоянии, хорошо работают в пространствах низкой размерности, но в высокой могут оказаться несостоятельными. 2
• С увеличением размерности искажается форма статистических законов распределения: снижается их локализация около среднего значения. 2 Это негативно влияет на работу статистических моделей. 2
• Попарные расстояния между векторами объектов с ростом числа измерений стремятся к одному значению. 2 Как следствие, снижается выразительность представления в данных зависимостей и закономерностей, выраженность кластерных структур. 2

Термин «проклятие размерности» ввёл Ричард Беллман в 1961 году. 4