Метод k-ближайших соседей (KNN) работает следующим образом:

1. Для классификации объекту присваивается класс, наиболее распространённый среди k ближайших соседей данного элемента, классы которых уже известны. 23 Если k = 1, то объект просто присваивается классу этого единственного ближайшего соседа. 3
2. Для регрессии объекту присваивается среднее значение по k ближайшим к нему объектам, значения которых уже известны. 2 Если k = 1, то выходные данные просто присваиваются значению этого единственного ближайшего соседа. 3

Обучение метода заключается лишь в сохранении обучающих объектов в памяти. 5 На этапе построения прогноза для объекта ищутся k ближайших объектов к нему объектов обучающей выборки («ближайшие соседи»), после чего для классификации назначается самый частотный класс среди k ближайших объектов, а для регрессии — назначается средний отклик по откликам среди k ближайших объектов. 5