Что такое k-ближайших соседей в машинном обучении?

K-ближайших соседей (KNN) — метод контролируемого машинного обучения, который используется чаще всего для классификации, а иногда и для регрессии. fin-accounting.ru

Суть метода — классифицировать новое наблюдение, обнаружив сходство («близость») между этим новым наблюдением и существующими данными. fin-accounting.ru

Алгоритм KNN работает следующим образом: sky.pro

1. Для новой точки данных (объекта, для которого нужно сделать предсказание) вычисляется расстояние до всех точек в обучающем наборе. sky.pro
2. Выбираются k ближайших соседей — точки с наименьшим расстоянием до новой точки. sky.pro
3. Целевое значение для новой точки рассчитывается путём усреднения целевых значений k ближайших соседей. sky.pro

Некоторые области применения KNN:

• Рекомендательные системы. education.yandex.ru Метод позволяет предложить пользователю что-то похожее на то, что он любит. education.yandex.ru
• Поиск семантически похожих документов. education.yandex.ru Если векторные представления близки друг к другу, то темы документов схожи. education.yandex.ru
• Поиск аномалий и выбросов. education.yandex.ru Алгоритм запоминает обучающую выборку полностью, поэтому ему легко посмотреть, насколько целевой объект похож на все данные, которые он видел. education.yandex.ru
• Задача кредитного скоринга. education.yandex.ru Рейтинги двух людей, у которых примерно одинаковая зарплата, схожие должности и кредитные истории, не должны сильно отличаться. education.yandex.ru