В чем разница между randomSplit и train|_test|_split в PySpark?

Разница между функциями randomSplit и traintestsplit в PySpark заключается в способе разделения данных на обучающий и тестовый наборы. hatchjs.com readmedium.com

randomSplit сначала сортирует части данных, а затем разделяет их. readmedium.com Это может привести к тому, что обучающие партии не будут отражать общее распределение данных, особенно если целевая переменная бинарная. readmedium.com Поэтому при работе с большими объёмами данных для моделей машинного обучения рекомендуется избегать использования randomSplit. readmedium.com

traintestsplit работает путём случайной выборки процента данных, которые будут использоваться для обучающего набора. hatchjs.com Оставшиеся данные идут в тестовый набор. hatchjs.com Процент данных, которые используются для обучающего набора, называется размером обучения. hatchjs.com По умолчанию он равен 0,75, то есть 75% данных идут в обучающий набор, а 25% — в тестовый. hatchjs.com

Таким образом, traintestsplit предпочтительнее использовать, когда важно обеспечить случайный порядок разделения, а randomSplit — когда необходимо сначала отсортировать данные перед разделением.

Пользователь

Время добавления