Какие метрики используются для оценки качества моделей бинарной классификации?

Некоторые метрики, которые используются для оценки качества моделей бинарной классификации:

• ROC-AUC (Receiver Operating Characteristic — Area Under Curve). sky.pro Измеряет способность модели ранжировать положительные примеры выше отрицательных. sky.pro Значения ROC-AUC варьируются от 0 до 1, где 1 — идеальная классификация, 0,5 — случайное угадывание, 0 — полностью неверная классификация. sky.pro
• Precision (точность). streammydata.ru webiomed.ru Показывает долю правильных предсказаний от всех предсказанных положительных значений. streammydata.ru Имеет смысл выбирать precision в тех случаях, когда нужно быть уверенным в правильности предсказаний, например, когда цена ошибки слишком высока. streammydata.ru
• Recall (полнота). streammydata.ru webiomed.ru Показывает, какую долю от реальных положительных значений угадала модель. streammydata.ru Метрика recall больше подходит для ситуаций, когда необходимо угадать как можно больше положительных значений целевого параметра, при условии, что наличие ложных предсказаний не критично. streammydata.ru
• F1-score. streammydata.ru Одна из самых часто используемых метрик оценки качества моделей. streammydata.ru По значению F1-score невозможно понять, какой тип ошибки, первого или второго рода, оказывает большее влияние на качество модели. streammydata.ru
• True Positive Rate (TPR). streammydata.ru Отражает долю правильно предсказанных положительных классов от всех реальных положительных классов. streammydata.ru
• False Positive Rate (FPR). streammydata.ru Показывает долю ошибочно предсказанных положительных классов от всех реальных отрицательных классов. streammydata.ru
• Geometric-mean (GM). vaael.ru Используется для максимизации верно-положительных и верно-отрицательных классификаций, при этом сохраняя баланс между ними. vaael.ru