Как работает алгоритм K-средних в машинном обучении?

Алгоритм K-средних (k-means) в машинном обучении используется для группировки объектов в наборы (кластеры) на основе их схожести. habr.com В основе работы лежит принцип минимизации расстояния между объектами внутри одного кластера. habr.com

Алгоритм работает в несколько шагов: blog.skillfactory.ru

1. Выбор числа кластеров (k). blog.skillfactory.ru На первом этапе необходимо определить количество кластеров, на которые будут разделены данные. blog.skillfactory.ru Этот параметр задают вручную, и его правильный выбор напрямую влияет на качество кластеризации. blog.skillfactory.ru
2. Инициализация центроидов. habr.com blog.skillfactory.ru Алгоритм случайным образом выбирает k начальных точек, называемых центроидами. habr.com blog.skillfactory.ru Эти точки служат временными центрами кластеров. habr.com blog.skillfactory.ru
3. Назначение объектов кластерам. habr.com blog.skillfactory.ru Каждый объект в наборе данных назначается к кластеру, центроид которого находится ближе всего. habr.com blog.skillfactory.ru Для расчёта расстояния обычно используют евклидову метрику, но есть и другие меры сходства, например косинусное расстояние или расстояние Манхэттена. habr.com blog.skillfactory.ru
4. Обновление центроидов. habr.com blog.skillfactory.ru После назначения объектов кластерам вычисляют новые центроиды. habr.com blog.skillfactory.ru Каждый центроид перемещается в среднюю точку всех объектов, принадлежащих его кластеру. habr.com blog.skillfactory.ru
5. Повторение. habr.com blog.skillfactory.ru Шаги 3 и 4 повторяют до тех пор, пока центроиды не перестанут значительно изменяться, что свидетельствует о достижении сходимости. habr.com blog.skillfactory.ru В некоторых реализациях алгоритм также может быть завершён при достижении заданного числа итераций. habr.com blog.skillfactory.ru

Цель алгоритма — минимизировать сумму квадратов внутрикластерных расстояний до центра кластера. www.dmitrymakarov.ru