Как кластеризация помогает в обнаружении аномалий в больших объемах данных?

Кластеризация помогает обнаруживать аномалии в больших объёмах данных, сравнивая текущую активность объекта с активностью других объектов внутри своего кластера. ptresearch.media

Некоторые преимущества такого подхода:

• Не пропускаются аномалии из-за объектов с высокой активностью. ptresearch.media Если использовать простое правило срабатывания, например, по самой высокой активности в обучающей выборке, то для некоторых объектов решение будет слишком лояльным, и можно пропустить аномальную активность. ptresearch.media
• Можно детектировать аномалии, основываясь на характеристиках кластера. ptresearch.media Например, если за определённый промежуток времени какой-то объект не показал полный спектр своей активности, то можно получить эту информацию, основываясь не на его личной истории, а на истории его кластера — объектов, на которые он похож по активности. ptresearch.media
• Можно детектировать аномалии, даже если объекта не было в выборке. ptresearch.media Пока не накоплено достаточного количества информации о новом объекте, его относят в кластер с низкой активностью. ptresearch.media Это позволяет своевременно реагировать на объекты, показывающие высокую активность сразу после своего появления в сети. ptresearch.media

Таким образом, кластеризация позволяет не только искать аномалии, но и объяснять их происхождение для дальнейшего учёта в модели. www.acjournal.ru