Как оценить качество вероятностных прогнозов в задачах бинарной классификации?

Для оценки качества вероятностных прогнозов в задачах бинарной классификации используют специализированные метрики. www.appercase.ru Некоторые из них:

• Log Loss (логарифмическая потеря). www.appercase.ru habr.com Оценивает, насколько предсказанные вероятности отклоняются от истинных меток. www.appercase.ru Чем ниже значение Log Loss, тем лучше модель предсказывает вероятности. www.appercase.ru Эта метрика подходит для сравнения моделей, но менее полезна для оценки абсолютного качества предсказаний одной модели. www.appercase.ru
• ROC-AUC. www.appercase.ru Оценивает способность модели правильно ранжировать объекты по вероятности принадлежности к классу. www.appercase.ru ROC-кривая показывает соотношение между долей ложноположительных и истинноположительных результатов. www.appercase.ru Чем ближе кривая к верхнему левому углу, тем лучше модель разделяет классы. www.appercase.ru
• PR-кривая (Precision-Recall Curve). www.appercase.ru Показывает соотношение между точностью и полнотой для различных порогов классификации. www.appercase.ru PR-AUC, площадь под PR-кривой, особенно полезна в задачах с несбалансированными классами. www.appercase.ru
• Калибровочные кривые и ожидаемая ошибка калибровки (ECE). www.appercase.ru Калибровочная кривая визуализирует, насколько хорошо модель предсказывает вероятности, а ECE измеряет, насколько предсказания модели отклоняются от истинных вероятностей. www.appercase.ru
• Оценка Бриера. deepmachinelearning.ru Оценивает качество предсказанных вероятностей с помощью функции потерь Бриера, равной среднему квадрату отклонений вектора предсказанных вероятностей от вектора истинных вероятностей по L2-норме. deepmachinelearning.ru

Важно понимать, что идеальной метрики не существует — выбор инструментов оценки всегда должен определяться спецификой задачи, особенностями данных и бизнес-требованиями. sky.pro