Как permutations используется в анализе данных и машинном обучении?

Permutations в анализе данных и машинном обучении используется для вычисления важности признаков (Permutation feature importance). scikit-learn.ru habr.com Этот метод измеряет вклад каждого признака в статистические характеристики подобранной модели в заданном наборе табличных данных. scikit-learn.ru

Идея метода в том, чтобы случайным образом перемешать значения одного признака и наблюдать за результирующим ухудшением оценки модели. scikit-learn.ru Так определяют, насколько модель полагается на этот конкретный признак. scikit-learn.ru

Также permutation test score используется для оценки значимости оценки модели. labex.io Он генерирует нулевое распределение, вычисляя точность классификатора на 1000 разных перестановках датасета. labex.io Затем рассчитывается эмпирическое значение p как процент перестановок, для которых полученная оценка больше оценки, полученной с использованием исходных данных. labex.io