Какие существуют методы оценки качества прогнозирования?

Некоторые методы оценки качества прогнозирования:

• Использование валидационной выборки. deepmachinelearning.ru Выборка делится на две подвыборки: обучающую, на которой настраивают параметры модели, и валидационную, на которой оценивают её качество. deepmachinelearning.ru
• Кросс-валидация. deepmachinelearning.ru Подход предполагает многократное разбиение выборки не на две, а сразу на три подвыборки. deepmachinelearning.ru Это позволяет одновременно подобрать гиперпараметры и оценить качество модели с наилучшими из них. deepmachinelearning.ru
• Оценка качества прогнозов для временных рядов. deepmachinelearning.ru Для таких последовательностей наблюдений, которые поступают динамически по времени, используют оценку с контролем по времени. deepmachinelearning.ru При этом усредняют качество прогнозов на один или несколько шагов вперёд при всевозможных временных разбиениях на известные прошлые и неизвестные будущие наблюдения. deepmachinelearning.ru
• Использование стандартных статистик. www.iep.ru К ним относятся, например, квадратный корень из средней квадратичной ошибки (RMSE), средняя абсолютная ошибка (MAE) и средняя абсолютная процентная ошибка (MAPE). www.iep.ru
• Симметричная оценка качества (SMAPE). reshape.ru Этот метод в какой-то мере нивелирует асимметрию, которая есть в MAPE. reshape.ru Однако у него есть существенный минус — SMAPE содержит знаменательный прогноз, поэтому при угадывании нулевых значений можно манипулировать качеством прогноза. reshape.ru