Какие метрики используются для оценки качества моделей бинарной классификации?

Некоторые метрики, которые используются для оценки качества моделей бинарной классификации:

• ROC-AUC (Receiver Operating Characteristic — Area Under Curve). 2 Измеряет способность модели ранжировать положительные примеры выше отрицательных. 2 Значения ROC-AUC варьируются от 0 до 1, где 1 — идеальная классификация, 0,5 — случайное угадывание, 0 — полностью неверная классификация. 2
• Precision (точность). 15 Показывает долю правильных предсказаний от всех предсказанных положительных значений. 1 Имеет смысл выбирать precision в тех случаях, когда нужно быть уверенным в правильности предсказаний, например, когда цена ошибки слишком высока. 1
• Recall (полнота). 15 Показывает, какую долю от реальных положительных значений угадала модель. 1 Метрика recall больше подходит для ситуаций, когда необходимо угадать как можно больше положительных значений целевого параметра, при условии, что наличие ложных предсказаний не критично. 1
• F1-score. 1 Одна из самых часто используемых метрик оценки качества моделей. 1 По значению F1-score невозможно понять, какой тип ошибки, первого или второго рода, оказывает большее влияние на качество модели. 1
• True Positive Rate (TPR). 1 Отражает долю правильно предсказанных положительных классов от всех реальных положительных классов. 1
• False Positive Rate (FPR). 1 Показывает долю ошибочно предсказанных положительных классов от всех реальных отрицательных классов. 1
• Geometric-mean (GM). 3 Используется для максимизации верно-положительных и верно-отрицательных классификаций, при этом сохраняя баланс между ними. 3