Как ROC-AUC и F1-мера помогают оценивать качество мультиклассовой классификации?

ROC-AUC и F1-мера помогают оценивать качество мультиклассовой классификации, но их применение имеет некоторые особенности.

ROC-AUC учитывает работу модели при всех возможных порогах и не зависит от одного конкретного. oxoi.ru Чем больше значение AUC, тем лучше модель различает классы. habr.com В многоклассовой классификации шкала значений AUC приобретает следующие нюансы: sky.pro

• AUC = 1/(количество классов) — соответствует случайному угадыванию для задачи с равновероятными классами. sky.pro
• AUC, близкий к 1,0 — модель хорошо различает все классы между собой. sky.pro
• Промежуточные значения — требуют более детального анализа. sky.pro

Важно понимать, что в многоклассовом случае общее значение AUC может скрывать серьёзные проблемы с классификацией отдельных классов. sky.pro Например, высокое значение макро-усреднённого AUC может быть получено, если модель отлично разделяет несколько классов, но полностью проваливается на других. sky.pro

F1-мера оценивает качество модели по числу ошибок обоих родов. oxoi.ru Эта метрика полезна, если требуется найти баланс между Precision и Recall. habr.com Значение F1-меры зависит от порога классификации. oxoi.ru Для мультиклассовой классификации F1-меру и другие метрики усредняют с использованием подходов micro и macro: oxoi.ru

• Macro-подход — одинаково оценивает все классы. oxoi.ru Подходит для данных, где все классы важны в равной степени. oxoi.ru
• Micro-усреднение — позволяет определять объекты наиболее представленного в данных класса и снижает влияние других классов на метрику. oxoi.ru Применяется, если нужно снизить влияние других классов на метрику. oxoi.ru

Таким образом, ROC-AUC лучше подходит для оценки качества модели с учётом всех возможных порогов, а F1-мера — для оценки модели по числу ошибок обеих родов. oxoi.ru