Некоторые методы выявления существенных изменений в данных:
- Графический метод. 1 Например, Box plot (ящик с усами) показывает медиану, нижний и верхний квартили, а также выбросы в данных. 1 Scatter plot (диаграмма рассеяния) помогает увидеть выбросы, которые отклоняются от общей тенденции. 1
- Z-оценка. 1 Это статистическая мера, которая показывает, насколько значение отклоняется от среднего значения выборки в единицах стандартного отклонения. 1 Выбросы можно определить, присвоив порог Z-оценки, например, 2 или 3. 1 Значения с Z-оценкой, превышающей этот порог, считаются выбросами. 1
- Метод IQR (межквартильный размах). 1 Выбросы определяются как значения, находящиеся за пределами 1,5 IQR от Q1 и Q3. 1
- Тест Граббса. 1 Тест сравнивает наибольшее и наименьшее значения с средним значением и стандартным отклонением выборки. 1 Если статистика теста превышает определённый критический уровень, наибольшее или наименьшее значение считается выбросом. 1
- Алгоритмы машинного обучения. 1 Например, DBSCAN, Isolation Forest и Local Outlier Factor обучаются на данных и выявляют выбросы на основе структуры и распределения данных. 1
- Метод E–Divisive with Medians (EDM). 3 Позволяет автоматически обнаруживать структурные изменения во временных рядах. 3
Выбор метода зависит от характеристик набора данных и целей анализа. 1