В чем преимущества использования PR-AUC по сравнению с ROC-AUC?

Некоторые преимущества использования PR-AUC (Precision-Recall AUC) по сравнению с ROC-AUC:

• Фокус на положительном классе. 2 PR-AUC оценивает способность модели правильно классифицировать положительные примеры, избегая ложноположительных ошибок. 1 ROC-AUC, в свою очередь, может создавать иллюзию хорошей производительности, даже когда модель не способна правильно обнаружить редкий класс. 1
• Подходит для несбалансированных наборов данных. 1 PR-AUC более уместен в случаях, когда положительный класс редок и доминирует отрицательный. 1
• Инструмент для мониторинга и оценки модели. 3 Сравнивая PR-AUC разных моделей или версий одной и той же модели, можно выбрать ту, которая лучше всего справляется с балансом между точностью и полнотой. 3
• Помогает выявить дрифт модели. 3 Отслеживание изменений PR-AUC с течением времени может помочь определить ухудшение производительности модели из-за изменений в распределении базовых данных. 3

Таким образом, ROC-AUC лучше подходит для сбалансированных наборов данных, где важны оба класса, а PR-AUC — для несбалансированных наборов, где важен в основном положительный класс. 1