Как работает метод ближайших соседей в машинном обучении?

Метод ближайших соседей (K-ближайших соседей, KNN) в машинном обучении работает на основе принципа схожести. www.geeksforgeeks.org Он предсказывает метку или значение нового объекта, учитывая метки или значения его K ближайших соседей в обучающем наборе данных. www.geeksforgeeks.org

Алгоритм работы KNN: www.geeksforgeeks.org

1. Выбор оптимального значения K. www.geeksforgeeks.org K представляет собой количество ближайших соседей, которое нужно учитывать при прогнозировании. www.geeksforgeeks.org
2. Вычисление расстояния. www.geeksforgeeks.org Для измерения схожести между целевым и обучающим объектами часто используют евклидово расстояние. www.geeksforgeeks.org Расстояние вычисляется между точками данных в наборе и целевой точкой. www.geeksforgeeks.org
3. Поиск ближайших соседей. www.geeksforgeeks.org K точек данных с наименьшими расстояниями до целевой точки являются ближайшими соседями. www.geeksforgeeks.org
4. Голосование для классификации или взятие среднего значения для регрессии. www.geeksforgeeks.org В случае классификации алгоритм смотрит, к какой категории принадлежат соседи, и выбирает ту, которая встречается чаще всего. www.geeksforgeeks.org В случае регрессии алгоритм ищет K ближайших точек, но вместо голосования за класс берёт среднее значение этих K соседей. www.geeksforgeeks.org

Для классификации объекту присваивается тот класс, который является наиболее распространённым среди K соседей данного элемента, классы которых уже известны. proglib.io Для регрессии объекту присваивается среднее значение по K ближайшим к нему объектам, значения которых уже известны. proglib.io