Какие методы используются для обнаружения и обработки выбросов в статистических данных?

Некоторые методы, которые используются для обнаружения выбросов в статистических данных:

• Графический метод. 1 Визуализация данных позволяет специалисту решить, какие выбросы удалять. 2 Примеры графических методов: box plot (график с усами) и scatter plot (диаграмма рассеяния). 1
• Z-оценка. 12 Это статистическая мера, которая показывает, насколько значение отклоняется от среднего значения выборки в единицах стандартного отклонения. 1 Выбросы можно определить, присвоив порог Z-оценки, например, 2 или 3. 1 Значения с Z-оценкой, превышающей этот порог, считаются выбросами. 1
• Метод IQR (межквартильный размах). 1 Выбросы определяются как значения, находящиеся за пределами 1,5 IQR от нижнего (Q1) и верхнего (Q3) квартилей. 1
• Тест Граббса. 1 Тест сравнивает наибольшее и наименьшее значения с средним значением и стандартным отклонением выборки. 1 Если статистика теста превышает определённый критический уровень, наибольшее или наименьшее значение считается выбросом. 1
• Алгоритмы машинного обучения. 1 Некоторые из них: DBSCAN, Isolation Forest и Local Outlier Factor. 1 Эти алгоритмы обучаются на данных и выявляют выбросы на основе структуры и распределения данных. 1

Для обработки выбросов в зависимости от причины и плотности данных могут использоваться разные методы: 3

• Удаление точки данных. 3 Если наблюдение является результатом ошибки ввода данных или измерения, то его лучше удалить. 3
• Замена точки данных. 3 Обычно для вменения значения недостающее значение предсказывают на основе других признаков или заменяют его значением признака. 3
• Отсечение или упорядочивание. 3 Если набор данных достаточно большой, то можно сохранить или обрезать значение выброса. 3

Выбор метода зависит от характеристик набора данных и целей анализа. 1