В чем разница между прогнозируемой и фактической эффективностью модели при тестировании?

Разница между прогнозируемой и фактической эффективностью модели при тестировании заключается в отклонении прогноза модели от фактического результата. na-journal.ru

Для оценки этой разницы используют различные метрики, например:

• Логарифмическая потеря. learn.microsoft.com Измеряет производительность модели классификации, где входные данные прогнозирования — это значение вероятности от 0,00 до 1,00. learn.microsoft.com Логарифмическая потеря увеличивается с увеличением расхождения прогнозируемой вероятности с фактической меткой. learn.microsoft.com
• Абсолютная потеря (средняя абсолютная ошибка, MAE). learn.microsoft.com Измеряет, насколько близки прогнозы к фактическим результатам. learn.microsoft.com Это среднее значение всех ошибок модели, где ошибка модели — это абсолютное расстояние между прогнозируемым значением метки и правильным значением метки. learn.microsoft.com
• R2. learn.microsoft.com habr.com Измеряет, как близки фактические значения данных теста к прогнозируемым значениям. learn.microsoft.com Чем ближе к 1,00, тем лучше качество. learn.microsoft.com

При тестировании модели важно следить за такими проблемами, как переобучение и недообучение, так как они могут существенно повлиять на то, насколько хорошо модель работает с новыми данными. docs.ultralytics.com