Кросс-энтропия является одной из лучших метрик для оценки качества моделей машинного обучения, потому что она служит мерой несходства или ошибки между предсказанными значениями и фактическими целевыми значениями. 1
Вот ещё несколько причин:
- Стимулирует быструю конвергенцию. 2 Кросс-энтропия усиливает градиент, когда предсказанная вероятность значительно отличается от реальной метки, что даёт более сильный сигнал для модели обновить свои веса и способствует более быстрому обучению. 2
- Помогает избежать локальных минимумов. 2 Кросс-энтропия сильнее других функций потерь наказывает за неверные предсказания, что побуждает модель продолжать существенно настраивать свои параметры, пока не будет найдено решение, которое хорошо обобщается. 2