Некоторые инженерные методы, которые используются для выбора функций в машинном обучении:

• Методы фильтрации. 14 Они основаны на статистических методах и рассматривают каждую функцию независимо. 4 Позволяют оценить и ранжировать функции по значимости, за которую принимается степень корреляции этой функции с целевой переменной. 4 Например, информационный прирост или критерий хи-квадрат. 1
• Методы-обёртки (wrapper methods). 2 Особенность этих методов — поиск всех возможных подмножеств признаков и оценка их качества путём «прогонки» через модель. 2 Процесс выбора функции основан на конкретном алгоритме машинного обучения. 2 Например, прямой отбор признаков, когда начинают с наиболее эффективной переменной по отношению к цели, а затем выбирают другую переменную, которая даёт лучшую производительность в сочетании с первой. 2
• Встроенные методы (embedded methods). 24 Эти методы позволяют не разделять отбор функций и обучение классификатора, а производят отбор внутри процесса расчёта модели. 4 Основным методом из этой категории является регуляризация, когда к различным параметрам модели добавляется штраф, чтобы избежать чрезмерной подгонки. 24
• Исчерпывающий выбор признаков. 2 Это самый надёжный метод выбора функций из всех существующих. 2 Его суть — оценка каждого подмножества функций методом перебора. 2 Метод пропускает все возможные комбинации переменных через алгоритм и возвращает наиболее эффективное подмножество. 2