Как метрика AUC-ROC влияет на выбор алгоритма в условиях несбалансированных классов?

Метрика AUC-ROC (ROC AUC) позволяет сравнивать разные модели по их способности к классификации, не завися от конкретного порогового значения. 5 Это делает её полезной в ситуациях, где классы несбалансированы. 5

Однако есть и некоторые недостатки использования AUC-ROC при выборе алгоритма в условиях несбалансированных классов: 3

• Метрика завышает качество модели в условиях дисбаланса классов. 3
• Не отражает изменения баланса классов. 3
• Может давать оптимистичные оценки при наличии сильно несбалансированных классов. 4

В таких случаях для более точной оценки производительности модели в условиях несбалансированных классов рекомендуют использовать другие метрики, например Precision-Recall AUC, которые учитывают ошибки первого и второго рода. 4

При выборе метрики важно учитывать предметную область, предварительно обрабатывать данные и, возможно, сегментировать их. 1