Метрика AUC-ROC (площадь под ROC-кривой) помогает в задачах классификации, оценивая способность классификатора различать классы. 1

Некоторые особенности метрики:

• Учитывает не только результаты классификации, но и вероятность предсказания всех классов. 2 Например, если результат корректно классифицирован на основе 51% вероятности, то он, скорее всего, будет классифицирован неверно, если воспользоваться другим тестовым набором данных. 2
• Учитывает эффективность модели при различных пороговых значениях. 2 Это комплексная метрика для оценки того, насколько хорошо разделяются случаи в разных группах. 2
• Помогает увидеть, как модель принимает решения на разных уровнях достоверности. 3 Кривая ROC состоит из двух линий: одна показывает, как часто модель правильно идентифицирует положительные случаи, а другая — как часто она ошибочно идентифицирует отрицательные случаи как положительные. 3
• Позволяет понять, насколько хороша модель, и выбрать пороговое значение, которое даёт правильный баланс между правильными и неправильными прогнозами. 3

Значение метрики принимает значения в диапазоне от 0 до 1 (или от 0% до 100%). 4 Чем ближе значение к 1 (или 100%), тем лучше модель справляется с задачей классификации. 4 Значение 0,5 означает, что модель работает на уровне случайного предсказания, а значение меньше 0,5 указывает на то, что модель предсказывает хуже случайного предсказания. 4