Некоторые методы оптимизации свёрток в больших нейронных сетях:

• Прунинг. 2 Подход к ускорению обученной нейронной сети за счёт удаления весов, оказывающих наименьшее влияние на результат. 2
• Дистилляция. 2 Метод обучения нейронной сети с меньшим числом параметров, опираясь на обученную сеть с большим числом параметров. 2
• Квантование. 25 Процедура дискретизации весов обученной нейронной сети для ускорения операций над ними. 2
• Нейросетевой архитектурный поиск. 2 Позволяет в автоматическом режиме выбрать оптимальную архитектуру с учётом домена работы сети и ограничений на её точность и скорость. 2
• Использование субдискритизирующих слоёв (pooling layer). 4 Этот метод применяют, когда нужно получить выходные данные меньшего размера, чем входные. 4
• Применение stride (шага). 4 Идея метода в том, чтобы пропустить некоторые области, над которыми скользит ядро. 4
• Использование разреженного представления весов. 5 Этот способ позволяет уменьшить количество потребляемой памяти нейросетевыми алгоритмами и улучшить их энергоэффективность, не потеряв значительно в точности. 5