Какие существуют способы повышения устойчивости алгоритма ближайшего соседа к выбросам данных?

Несколько способов повысить устойчивость алгоритма ближайшего соседа к выбросам данных:

• Выбор оптимального числа соседей. stepik.org www.machinelearning.ru Малое значение параметра k (например, k=1) делает алгоритм чувствительным к шуму и отдельным выбросам. stepik.org Большое значение k, наоборот, делает модель более устойчивой к шуму, но она может недообучаться и терять способность улавливать сложные закономерности. stepik.org Оптимальное значение параметра определяют с помощью критерия скользящего контроля, чаще всего — методом исключения объектов по одному. www.machinelearning.ru
• Взвешивание соседей. stepik.org loginom.ru При большом значении k возможно введение весов, которые уменьшаются с увеличением расстояния до соседа. stepik.org Более близкие соседи имеют больший вклад. stepik.org
• Отсев шума (выбросов). www.machinelearning.ru Исключение из выборки шумовых и неинформативных объектов улучшает качество классификации. www.machinelearning.ru
• Масштабирование признаков. stepik.org Метод чувствителен к масштабу признаков, поэтому их предварительно масштабируют. stepik.org
• Отбор информативных признаков. www.machinelearning.ru Если признаков слишком много, а расстояние вычисляется как сумма отклонений по отдельным признакам, то выбор ближайших соседей становится практически произвольным. www.machinelearning.ru Проблема решается путём отбора относительно небольшого числа информативных признаков. www.machinelearning.ru