Механизм отбора признаков в алгоритмах машинного обучения работает следующим образом: происходит процедура отбрасывания незначащих переменных из очищенной выборки перед запуском обучения. 3

Некоторые методы отбора признаков:

• Методы фильтрации. 3 Основаны на теории вероятностей и статистических подходах. 3 Позволяют ранжировать признаки по значимости, оценив степень корреляции каждого из них с целевой переменной. 3 Далее модель машинного обучения использует только те предикторы, которые соответствуют определённым критериям. 3
• Обёрточные методы. 3 Классификатор запускается на разных подмножествах признаков исходной тренировочной выборки. 3 В этой категории есть два подхода: включение (forward selection) и исключение (backwards selection) предикторов. 3 Методы включения начинают с пустого подмножества, куда постепенно добавляются разные признаки. 3 В случае исключения метод стартует с исходного множества признаков, постепенно удаляя из него переменные и пересчитывая классификатор. 3 Далее выбирается подмножество признаков с наилучшими параметрами на обучающей выборке и тестируется на контрольном (тестовом) датасете. 3
• Встроенные методы. 3 Не разделяют отбор признаков и обучение классификатора, а выделяют предикторы во время процесса расчёта модели. 3 Основным методом этой категории является регуляризация — добавление дополнительных ограничений (штрафов) к условиям задачи, чтобы построить алгоритм, минимизирующий ошибку и количество используемых переменных. 3

Главная идея отбора признаков — выявить и сохранить наиболее информативные признаки при одновременном устранении избыточных или нерелевантных. 5