Какие существуют методы выявления аномальных данных в больших массивах информации?

Некоторые методы выявления аномальных данных в больших массивах информации:

• Статистические тесты. alexanderdyakonov.wordpress.com Как правило, применяют для отдельных признаков и отлавливают экстремальные значения. alexanderdyakonov.wordpress.com Для этого используют, например, Z-value или Kurtosis measure. alexanderdyakonov.wordpress.com
• Метрические методы. alexanderdyakonov.wordpress.com В них постулируется существование некоторой метрики в пространстве объектов, которая и помогает найти аномалии. alexanderdyakonov.wordpress.com Хорошей мерой аномальности может служить, например, «расстояние до k-го соседа». alexanderdyakonov.wordpress.com Здесь используются специфические метрики, например расстояние Махаланобиса. alexanderdyakonov.wordpress.com
• Метод изолирующего леса (Isolation Forest). mzym.susu.ru Лес состоит из деревьев решений. mzym.susu.ru Каждое дерево строится до исчерпания выборки. mzym.susu.ru При построении дерева выбирается случайный атрибут и случайное значение для расщепления. mzym.susu.ru Для объекта определяется мера нормальности: среднее значение глубин листьев, в которые он попал. mzym.susu.ru Выбросы будут попадать в листья на ранних этапах (на небольшой глубине дерева), их будет проще «изолировать». mzym.susu.ru
• Кластеризация данных. learn.microsoft.com Один из подходов к обнаружению аномальных данных заключается в группировании элементов данных в сходные кластеры с последующим поиском элементов данных в каждом кластере, чем-либо отличающихся от других элементов данных в кластере. learn.microsoft.com Один из широко применяемых алгоритмов — k-средних. learn.microsoft.com