Как разные методы кросс-валидации влияют на качество прогнозов временных рядов?

Разные методы кросс-валидации по-разному влияют на качество прогнозов временных рядов. Некоторые из них:

• Кросс-валидация с расширяющимся окном. stankevich.tech При таком подходе прогнозы, построенные на самые новые точки, в среднем будут качественнее (за счёт того, что данных для оценки модели использовалось больше). stankevich.tech Однако может быть непросто проанализировать динамику точности моделей: модель стала меньше ошибаться в последний год потому, что этот период для неё более подходящий, или потому, что просто данных при обучении стало использоваться больше? stankevich.tech
• Кросс-валидация со скользящим окном. stankevich.tech При таком подходе размер выборки всегда одинаковый, следовательно, все изменения качества работы моделей обусловлены особенностями временного периода, а не изменением размера выборки. stankevich.tech

Для временных рядов используют оценку качества прогнозов с контролем по времени (out-of-time control). deepmachinelearning.ru При таком подходе усредняется качество прогнозов на один или несколько шагов вперёд при всевозможных временных разбиениях на известные прошлые и неизвестные будущие наблюдения, подлежащие прогнозированию. deepmachinelearning.ru

Выбор метода кросс-валидации зависит от конкретной задачи и имеющихся вычислительных возможностей. education.yandex.ru Важно проектировать кросс-валидацию таким образом, чтобы она максимально близко имитировала реальное «боевое» применение модели. stankevich.tech