В чем заключается проблема проклятия размерности в многомерном анализе?

Проблема проклятия размерности в многомерном анализе заключается в экспоненциальном возрастании количества данных из-за увеличения размерности пространства. learnmachinelearning.fandom.com www.yaneuch.ru

Особенно явно она проявляется при работе со сложными системами, которые описываются большим числом параметров. learnmachinelearning.fandom.com Это влечёт за собой следующие трудности: learnmachinelearning.fandom.com

• трудоёмкость вычислений; learnmachinelearning.fandom.com
• необходимость хранения огромного количества данных; learnmachinelearning.fandom.com
• увеличение доли шумов; learnmachinelearning.fandom.com
• в линейных классификаторах увеличение числа признаков ведёт к проблемам мультиколлинеарности и переобучения. learnmachinelearning.fandom.com

Кроме того, организация и поиск данных часто зависят от обнаружения областей, где объекты образуют группы со схожими свойствами. en.wikipedia.org Однако в многомерных данных все объекты кажутся разреженными и во многом непохожими, что не позволяет общим стратегиям организации данных быть эффективными. en.wikipedia.org

Для устранения проблемы проклятия размерности основная идея — понизить размерность пространства, а именно спроецировать данные на подпространство меньшей размерности. learnmachinelearning.fandom.com На этой идее, например, основан метод главных компонент. learnmachinelearning.fandom.com Также можно осуществлять отбор признаков и использовать алгоритм вычисления оценок. learnmachinelearning.fandom.com