Для использования кросс-валидации в задачах временных рядов необходимо учитывать временную структуру данных. 14 В отличие от традиционной кросс-валидации, где используются случайные разбиения данных, в случае временных рядов нужно сохранять временной порядок наблюдений. 1
Некоторые рекомендации по использованию кросс-валидации в задачах временных рядов:
- Использовать достаточное количество данных. 1 Нужно убедиться, что исторических данных достаточно для значимой оценки. 1
- Выбрать подходящее разделение. 1 Количество разделений (фолдов) регулируют в зависимости от длины данных временного ряда и желаемого компромисса между обучением и тестированием. 1
- Выбрать модель. 1 Можно поэкспериментировать с различными моделями, подходящими для прогнозирования временных рядов, такими как ARIMA, SARIMA, Prophet. 1
- Выбрать показатели оценки. 1 Нужно выбрать показатели оценки, которые имеют отношение к задаче прогнозирования и бизнес-целям. 1
- Итеративно уточнять. 1 Следует повторять различные конфигурации модели, гиперпараметров и функций для повышения производительности модели. 1
Также при кросс-валидации для временных рядов данные не должны пересекаться по времени: тренировочные данные должны идти до валидационных, а валидационные — до тестовых. 2 С учётом этих особенностей фолды в кросс-валидации для временных рядов располагаются вдоль временной оси. 2