Какие существуют методы оценки качества прогнозирования?

Некоторые методы оценки качества прогнозирования:

• Использование валидационной выборки. 1 Выборка делится на две подвыборки: обучающую, на которой настраивают параметры модели, и валидационную, на которой оценивают её качество. 1
• Кросс-валидация. 1 Подход предполагает многократное разбиение выборки не на две, а сразу на три подвыборки. 1 Это позволяет одновременно подобрать гиперпараметры и оценить качество модели с наилучшими из них. 1
• Оценка качества прогнозов для временных рядов. 1 Для таких последовательностей наблюдений, которые поступают динамически по времени, используют оценку с контролем по времени. 1 При этом усредняют качество прогнозов на один или несколько шагов вперёд при всевозможных временных разбиениях на известные прошлые и неизвестные будущие наблюдения. 1
• Использование стандартных статистик. 4 К ним относятся, например, квадратный корень из средней квадратичной ошибки (RMSE), средняя абсолютная ошибка (MAE) и средняя абсолютная процентная ошибка (MAPE). 4
• Симметричная оценка качества (SMAPE). 2 Этот метод в какой-то мере нивелирует асимметрию, которая есть в MAPE. 2 Однако у него есть существенный минус — SMAPE содержит знаменательный прогноз, поэтому при угадывании нулевых значений можно манипулировать качеством прогноза. 2