В чем заключается принцип k ближайших соседей в машинном обучении?

Принцип K-ближайших соседей (KNN) в машинном обучении заключается в определении класса нового объекта на основе классов его ближайших соседей в пространстве признаков. infostart.ru

Алгоритм работает следующим образом: habr.com

1. Вычисляется расстояние между тестовым и всеми обучающими образцами. habr.com
2. Выбирается k-ближайших образцов (соседей), где число k задаётся заранее. habr.com
3. Итоговым прогнозом среди выбранных k-ближайших образцов будет мода в случае классификации и среднее арифметическое в случае регрессии. habr.com
4. Предыдущие шаги повторяются для всех тестовых образцов. habr.com

Для задачи классификации алгоритм определяет класс нового объекта путём «голосования» среди K ближайших соседей. infostart.ru Класс, который чаще всего встречается среди K соседей, присваивается новому объекту. infostart.ru Для задачи регрессии предсказанное значение — это среднее значение целевой переменной (например, цены) среди K ближайших соседей. infostart.ru

Параметр K — это гиперпараметр, который определяет, сколько ближайших соседей будут учитываться при классификации. infostart.ru Выбор оптимального значения K — важная задача, которая влияет на производительность алгоритма. infostart.ru