Как происходит оптимизация процесса квантования данных?

Оптимизация процесса квантования данных может происходить, например, с помощью калибровки модели. earchive.tpu.ru Этот процесс направлен на поиск лучшего диапазона значений для параметров, которые подлежат квантованию. earchive.tpu.ru

Есть два основных подхода калибровки: earchive.tpu.ru

1. Статическая калибровка. earchive.tpu.ru Происходит с помощью выборки данных до того, как модель будет встроена в устройство и запущена. earchive.tpu.ru Это позволяет получить дискретную функцию и не тратить процессорное время на дополнительные преобразования при расчёте модели. earchive.tpu.ru
2. Динамическая калибровка. earchive.tpu.ru Квантование функций активации происходит в реальном времени по тем значениям, которые поступают с их выходов. earchive.tpu.ru Такой подход позволяет добиться лучшей точности, но увеличивает время расчёта модели. earchive.tpu.ru

Также для оптимизации квантования используют оптимальный выбор шага квантования и диапазона, охватываемого уровнями квантования. eltechdsp2.wordpress.com Это означает компромисс между дисперсией шума в «нормальной» ситуации и его большими выбросами при выходе сигнала за пределы диапазона. eltechdsp2.wordpress.com

Ещё один метод оптимизации — включение ошибки квантования в фазу обучения. habr.com Это позволяет сети адаптироваться к квантованным весам и активациям. habr.com