Какие инженерные методы используются для выбора функций в машинном обучении?

Некоторые инженерные методы, которые используются для выбора функций в машинном обучении:

• Методы фильтрации. www.geeksforgeeks.org habr.com Они основаны на статистических методах и рассматривают каждую функцию независимо. habr.com Позволяют оценить и ранжировать функции по значимости, за которую принимается степень корреляции этой функции с целевой переменной. habr.com Например, информационный прирост или критерий хи-квадрат. www.geeksforgeeks.org
• Методы-обёртки (wrapper methods). proglib.io Особенность этих методов — поиск всех возможных подмножеств признаков и оценка их качества путём «прогонки» через модель. proglib.io Процесс выбора функции основан на конкретном алгоритме машинного обучения. proglib.io Например, прямой отбор признаков, когда начинают с наиболее эффективной переменной по отношению к цели, а затем выбирают другую переменную, которая даёт лучшую производительность в сочетании с первой. proglib.io
• Встроенные методы (embedded methods). proglib.io habr.com Эти методы позволяют не разделять отбор функций и обучение классификатора, а производят отбор внутри процесса расчёта модели. habr.com Основным методом из этой категории является регуляризация, когда к различным параметрам модели добавляется штраф, чтобы избежать чрезмерной подгонки. proglib.io habr.com
• Исчерпывающий выбор признаков. proglib.io Это самый надёжный метод выбора функций из всех существующих. proglib.io Его суть — оценка каждого подмножества функций методом перебора. proglib.io Метод пропускает все возможные комбинации переменных через алгоритм и возвращает наиболее эффективное подмножество. proglib.io