Несколько рекомендаций, как уменьшить avg loss в обучении сверточной нейросети:

• Убедиться, что функция потерь соответствует задаче. 1 Например, для задачи классификации подойдёт категориальная кросс-энтропия, а для несбалансированных классов — focal loss. 1
• Проверить, что функция потерь измеряется по правильной шкале. 1 Если используется более одного типа функции потерь (MSE, feature loss, L1), важно убедиться, что все потери масштабируются до одного порядка. 1
• Использовать исключение (dropout). 1 Эта техника позволяет регуляризировать нейросеть и избежать переобучения. 1 Она заключается в ограничении числа активных нейронов при помощи вероятностного гиперпараметра. 1
• Нормализовать входные данные. 4 Нейронная сеть обучается лучше, когда входные данные нормализованы так, что их значения находятся в диапазоне от -1 до 1 или от 0 до 1. 4

Также для минимизации ошибки можно использовать метод градиентного спуска, который предполагает поиск минимума функции за счёт движения вдоль вектора градиента. 3

Выбор конкретных методов зависит от конкретной ситуации и задач обучения.