Как работает метод k-ближайших соседей при классификации и регрессии?

Метод k-ближайших соседей (KNN) работает следующим образом:

1. Для классификации объекту присваивается класс, наиболее распространённый среди k ближайших соседей данного элемента, классы которых уже известны. proglib.io en.wikipedia.org Если k = 1, то объект просто присваивается классу этого единственного ближайшего соседа. en.wikipedia.org
2. Для регрессии объекту присваивается среднее значение по k ближайшим к нему объектам, значения которых уже известны. proglib.io Если k = 1, то выходные данные просто присваиваются значению этого единственного ближайшего соседа. en.wikipedia.org

Обучение метода заключается лишь в сохранении обучающих объектов в памяти. deepmachinelearning.ru На этапе построения прогноза для объекта ищутся k ближайших объектов к нему объектов обучающей выборки («ближайшие соседи»), после чего для классификации назначается самый частотный класс среди k ближайших объектов, а для регрессии — назначается средний отклик по откликам среди k ближайших объектов. deepmachinelearning.ru