Какие существуют методы выявления аномальных данных в больших массивах информации?

Некоторые методы выявления аномальных данных в больших массивах информации:

• Статистические тесты. 5 Как правило, применяют для отдельных признаков и отлавливают экстремальные значения. 5 Для этого используют, например, Z-value или Kurtosis measure. 5
• Метрические методы. 5 В них постулируется существование некоторой метрики в пространстве объектов, которая и помогает найти аномалии. 5 Хорошей мерой аномальности может служить, например, «расстояние до k-го соседа». 5 Здесь используются специфические метрики, например расстояние Махаланобиса. 5
• Метод изолирующего леса (Isolation Forest). 2 Лес состоит из деревьев решений. 2 Каждое дерево строится до исчерпания выборки. 2 При построении дерева выбирается случайный атрибут и случайное значение для расщепления. 2 Для объекта определяется мера нормальности: среднее значение глубин листьев, в которые он попал. 2 Выбросы будут попадать в листья на ранних этапах (на небольшой глубине дерева), их будет проще «изолировать». 2
• Кластеризация данных. 4 Один из подходов к обнаружению аномальных данных заключается в группировании элементов данных в сходные кластеры с последующим поиском элементов данных в каждом кластере, чем-либо отличающихся от других элементов данных в кластере. 4 Один из широко применяемых алгоритмов — k-средних. 4