В чем может быть причина негативных значений loss в модели Sequential?

Несколько возможных причин негативных значений loss в модели Sequential:

• Использование перекрёстной энтропийной потери или отрицательной логарифмической вероятности. yandex.ru Эти функции стремятся к минимуму, когда предсказанные вероятности приближаются к реальным вероятностям. yourtodo.ru Они штрафуют модель за неправильные прогнозы, особенно в случаях, когда предсказания сильно отклоняются от реальных вероятностей. yourtodo.ru
• Неправильное масштабирование обучающих данных. neptune.ai Также к негативным значениям потери может приводить использование очень больших регуляторов l2 и скорости обучения выше 1. neptune.ai
• Использование неправильной функции оптимизатора. neptune.ai
• Большие (взрывающие) градиенты, которые приводят к большому обновлению весов сети во время обучения. neptune.ai

Чтобы избежать негативных значений потери, рекомендуется проверить, что данные для обучения правильно масштабированы и не содержат NaN, использовать правильный оптимизатор и не слишком большую скорость обучения, а также не слишком большую регуляризацию l2. neptune.ai