Некоторые методы автоматического отбора признаков:

• Обёрточные методы. 1 Используют предсказательное моделирование для оценивания подмножеств признаков. 1 Каждое подмножество используется для обучения модели, а затем модель проверяется на тестовом множестве. 1 Лучшим принимается то подмножество признаков, для которого количество ошибок минимально. 1
• Методы фильтрации. 1 Используют косвенные меры качества модели вместо ошибки, например корреляцию между входными переменными и выходной. 1 В простейшем случае для каждой входной переменной вычисляется коэффициент корреляции с выходной, и исключаются те переменные, для которых он ниже заданного порога. 1
• Рекурсивные методы отбора. 1 В этом случае ищутся не подмножества признаков, а каждому признаку присваиваются веса, по которым они ранжируются. 1 Затем исключаются признаки с малыми весами. 1
• Прямое включение. 1 Метод базируется на принципе: начать с пустой модели, в которой признаки отсутствуют, и постепенно добавляя признаки найти самые «лучшие». 1
• Обратное исключение. 1 Исходная модель содержит все признаки, которые поочерёдно исключаются с целью найти «худшие» и не применять их в модели. 1
• Пошаговое включение/исключение. 1 Модификация метода прямого включения с тем отличием, что на каждом шаге после включения новой переменной в модель, осуществляется проверка на значимость остальных переменных, которые уже были введены в неё ранее. 1
• Исчерпывающий выбор признаков. 3 Суть метода — оценка каждого подмножества функций методом перебора. 3 Метод пропускает все возможные комбинации переменных через алгоритм и возвращает наиболее эффективное подмножество. 3

Выбор подходящего метода не всегда очевиден и зависит от задачи и имеющихся данных. 5