Несколько возможных причин негативных значений loss в модели Sequential:

• Использование перекрёстной энтропийной потери или отрицательной логарифмической вероятности. 1 Эти функции стремятся к минимуму, когда предсказанные вероятности приближаются к реальным вероятностям. 2 Они штрафуют модель за неправильные прогнозы, особенно в случаях, когда предсказания сильно отклоняются от реальных вероятностей. 2
• Неправильное масштабирование обучающих данных. 3 Также к негативным значениям потери может приводить использование очень больших регуляторов l2 и скорости обучения выше 1. 3
• Использование неправильной функции оптимизатора. 3
• Большие (взрывающие) градиенты, которые приводят к большому обновлению весов сети во время обучения. 3

Чтобы избежать негативных значений потери, рекомендуется проверить, что данные для обучения правильно масштабированы и не содержат NaN, использовать правильный оптимизатор и не слишком большую скорость обучения, а также не слишком большую регуляризацию l2. 3