Как уменьшить avg loss в обучении сверточной нейросети?

Несколько рекомендаций, как уменьшить avg loss в обучении сверточной нейросети:

• Убедиться, что функция потерь соответствует задаче. proglib.io Например, для задачи классификации подойдёт категориальная кросс-энтропия, а для несбалансированных классов — focal loss. proglib.io
• Проверить, что функция потерь измеряется по правильной шкале. proglib.io Если используется более одного типа функции потерь (MSE, feature loss, L1), важно убедиться, что все потери масштабируются до одного порядка. proglib.io
• Использовать исключение (dropout). proglib.io Эта техника позволяет регуляризировать нейросеть и избежать переобучения. proglib.io Она заключается в ограничении числа активных нейронов при помощи вероятностного гиперпараметра. proglib.io
• Нормализовать входные данные. neurohive.io Нейронная сеть обучается лучше, когда входные данные нормализованы так, что их значения находятся в диапазоне от -1 до 1 или от 0 до 1. neurohive.io

Также для минимизации ошибки можно использовать метод градиентного спуска, который предполагает поиск минимума функции за счёт движения вдоль вектора градиента. habr.com

Выбор конкретных методов зависит от конкретной ситуации и задач обучения.