ROC AUC (Receiver Operating Characteristic — Area Under the Curve) используется для оценки качества классификации на основе анализа ROC-кривой. 3

ROC-кривая представляет собой графическое представление взаимосвязи между чувствительностью (True Positive Rate, TPR) и специфичностью (False Positive Rate, FPR) классификатора при различных пороговых значениях. 3

ROC AUC — это численное значение, равное площади под ROC-кривой. 3 Оно принимает значения в диапазоне от 0 до 1 (или от 0% до 100%). 3

Некоторые способы использования ROC AUC для оценки качества классификации:

• Сравнение моделей. 1 ROC AUC позволяет сравнивать несколько моделей классификации, чтобы определить, какая из них работает лучше. 1 Модель с более высоким AUC, как правило, более эффективна при различении классов. 1
• Выбор порога. 1 ROC-кривые помогают выбрать подходящий порог классификации на основе требований конкретного приложения. 1
• Работа с несбалансированными наборами данных. 1 ROC AUC особенно полезен при работе с такими наборами данных, где один класс значительно превосходит другой по численности. 1

Однако ROC AUC не даёт представления о конкретных последствиях или затратах, связанных с ложноположительными и ложноотрицательными результатами. 1 Поэтому его часто используют в сочетании с другими показателями, такими как точность, отзыв и оценка F1, чтобы получить более полное представление о производительности модели. 1