В алгоритмах машинного обучения используются, например, такие методы перестановки:

• Метод перестановочной важности признаков (permutation feature importance). 1 Это способ расчёта степени влияния каждого признака на прогнозы модели. 1 Метод применим для любой модели, задачи (классификация, регрессия и другие) и функции потерь. 1

Суть метода в том, чтобы случайным образом перемешать значения одного признака и наблюдать за ухудшением оценки модели. 4 Так определяют, насколько модель полагается на конкретный признак. 4

• Тесты перестановок. 3 Это непараметрические статистические методы, которые оценивают важность наблюдаемых изменений или эффектов в данных. 3 Тесты перестановок применяют для оценки значимости показателей важности признаков в прогностических моделях, разницы в производительности между алгоритмами или конфигурациями машинного обучения, корреляций между переменными в наборах данных и других целей. 3