Какие существуют методы оценки важности признаков в машинном обучении?

Некоторые методы оценки важности признаков в машинном обучении:

• Прямой отбор. tproger.ru Построение модели начинается с пустой модели, затем на каждой итерации добавляют переменную, которая улучшает строящуюся модель. tproger.ru Значимость переменной определяют с помощью различных метрик, например p-значений. tproger.ru
• Обратный отбор. tproger.ru Заключается в пошаговом исключении признаков, но в противоположном направлении по сравнению с прямым отбором. tproger.ru Начальная модель включает все независимые переменные, затем исключают по одной за итерацию, если они не несут ценности для новой регрессионной модели. tproger.ru
• Рекурсивное исключение признаков (RFE). tproger.ru sky.pro Используют ранговую систему: признакам в наборе данных выставляют ранги, затем эти ранги применяют для рекурсивного исключения признаков в зависимости от коллинеарности между ними и значимости этих признаков в модели. tproger.ru
• Диаграмма важности признаков. tproger.ru Строят диаграмму переменных и «количества их важности». tproger.ru Это полезно, когда нужно предоставить структурированное обоснование важности признаков с точки зрения их влияния на бизнес. tproger.ru
• Регуляризация. tproger.ru Помогает контролировать баланс между предвзятостью и отклонением. tproger.ru L1-регуляризация (Лассо) штрафует весовые коэффициенты модели для изменения их важности для модели и может даже обнулить их. tproger.ru L2-регуляризация (метод Ridge) сохраняет все переменные и присваивает им важность на основе вклада в эффективность модели. tproger.ru
• Перестановочная важность (PFI). cs.msu.ru Базируется на идее: признак важный, если перестановка его значений снижает качество алгоритма машинного обучения. cs.msu.ru