Какие существуют методы оптимизации свертки в больших нейронных сетях?

Некоторые методы оптимизации свёрток в больших нейронных сетях:

• Прунинг. www.iae.nsk.su Подход к ускорению обученной нейронной сети за счёт удаления весов, оказывающих наименьшее влияние на результат. www.iae.nsk.su
• Дистилляция. www.iae.nsk.su Метод обучения нейронной сети с меньшим числом параметров, опираясь на обученную сеть с большим числом параметров. www.iae.nsk.su
• Квантование. www.iae.nsk.su elib.bsu.by Процедура дискретизации весов обученной нейронной сети для ускорения операций над ними. www.iae.nsk.su
• Нейросетевой архитектурный поиск. www.iae.nsk.su Позволяет в автоматическом режиме выбрать оптимальную архитектуру с учётом домена работы сети и ограничений на её точность и скорость. www.iae.nsk.su
• Использование субдискритизирующих слоёв (pooling layer). neurohive.io Этот метод применяют, когда нужно получить выходные данные меньшего размера, чем входные. neurohive.io
• Применение stride (шага). neurohive.io Идея метода в том, чтобы пропустить некоторые области, над которыми скользит ядро. neurohive.io
• Использование разреженного представления весов. elib.bsu.by Этот способ позволяет уменьшить количество потребляемой памяти нейросетевыми алгоритмами и улучшить их энергоэффективность, не потеряв значительно в точности. elib.bsu.by

Пользователь

Время добавления