В чем преимущества использования PR-AUC по сравнению с ROC-AUC?

Некоторые преимущества использования PR-AUC (Precision-Recall AUC) по сравнению с ROC-AUC:

• Фокус на положительном классе. sky.pro PR-AUC оценивает способность модели правильно классифицировать положительные примеры, избегая ложноположительных ошибок. diogoribeiro7.github.io ROC-AUC, в свою очередь, может создавать иллюзию хорошей производительности, даже когда модель не способна правильно обнаружить редкий класс. diogoribeiro7.github.io
• Подходит для несбалансированных наборов данных. diogoribeiro7.github.io PR-AUC более уместен в случаях, когда положительный класс редок и доминирует отрицательный. diogoribeiro7.github.io
• Инструмент для мониторинга и оценки модели. coralogix.com Сравнивая PR-AUC разных моделей или версий одной и той же модели, можно выбрать ту, которая лучше всего справляется с балансом между точностью и полнотой. coralogix.com
• Помогает выявить дрифт модели. coralogix.com Отслеживание изменений PR-AUC с течением времени может помочь определить ухудшение производительности модели из-за изменений в распределении базовых данных. coralogix.com

Таким образом, ROC-AUC лучше подходит для сбалансированных наборов данных, где важны оба класса, а PR-AUC — для несбалансированных наборов, где важен в основном положительный класс. diogoribeiro7.github.io