Как метрика AUC-ROC влияет на выбор алгоритма в условиях несбалансированных классов?

Метрика AUC-ROC (ROC AUC) позволяет сравнивать разные модели по их способности к классификации, не завися от конкретного порогового значения. yourtodo.life Это делает её полезной в ситуациях, где классы несбалансированы. yourtodo.life

Однако есть и некоторые недостатки использования AUC-ROC при выборе алгоритма в условиях несбалансированных классов: loginom.ru

• Метрика завышает качество модели в условиях дисбаланса классов. loginom.ru
• Не отражает изменения баланса классов. loginom.ru
• Может давать оптимистичные оценки при наличии сильно несбалансированных классов. kartaslov.ru

В таких случаях для более точной оценки производительности модели в условиях несбалансированных классов рекомендуют использовать другие метрики, например Precision-Recall AUC, которые учитывают ошибки первого и второго рода. kartaslov.ru

При выборе метрики важно учитывать предметную область, предварительно обрабатывать данные и, возможно, сегментировать их. habr.com