Некоторые метрики, которые помогают оценить эффективность модели машинного обучения в условиях неравномерного распределения классов:

• Accuracy. 3 Показывает долю верных предсказаний. 3 Однако в несбалансированных наборах данных, где класс большинства значительно перевешивает класс меньшинства, точность сама по себе может не обеспечить точного представления о производительности модели. 2
• F1-мера. 1 Это гармоническое среднее между Precision и Recall. 1 F1-мера помогает оценить способность модели достигать баланса между правильной идентификацией положительных примеров (точность) и захватом всех фактических положительных примеров (отзыв). 2
• Специфичность. 2 Оценочный показатель, используемый в задачах бинарной классификации для измерения способности модели правильно идентифицировать отрицательные экземпляры. 2 Он количественно определяет долю истинных негативных прогнозов от всех фактических негативных случаев в наборе данных. 2
• AP (Average Precision). 1 Метрика, используемая для оценки качества моделей машинного обучения в задачах бинарной классификации. 1 Она вычисляется как среднее значение точности (Precision) на разных уровнях отсечения (Recall) при изменении порога решающего правила. 1
• ROC AUC. 1 Метрика качества классификатора: чем выше значение AUC, тем лучше работает классификатор. 1 Когда классы несбалансированы, PR AUC может быть более информативным, поскольку он фокусируется на предсказании положительных объектов. 1

При неравномерном распределении классификационных признаков не следует опираться лишь на одну из метрик, оценка моделей должна вестись комплексно по всем показателям. 3