Разница между методом hold-out и кросс-валидацией (перекрёстной проверкой) заключается в подходе к оценке модели. 14
Метод hold-out предполагает разделение данных на обучающий и тестовый наборы. 2 Модель обучают на обучающем наборе, а затем тестируют на тестовом, чтобы получить оптимальную модель. 2 Этот подход часто используют, когда объём данных небольшой и их не хватает для разделения на три набора (обучение, проверка, тестирование). 2
Кросс-валидация — это процедура для оценки качества работы модели, которая помогает сравнить между собой различные модели и выбрать наилучшую для конкретной задачи. 5 В рамках кросс-валидации обучающие данные для модели делят на несколько сегментов (фолдов). 3 Во время каждой итерации обучения модель обучают на одном или нескольких фолдах, при этом хотя бы один из них не используют для обучения. 3
Таким образом, кросс-валидация даёт более надёжную оценку качества модели, чем hold-out, так как обучение и тест модели происходят на разных подмножествах исходного датасета. 5