Why does commitment loss become an obstacle in vector quantization training?

Некоторые причины, по которым потеря приверженности может стать препятствием при обучении векторного квантования:

• Нестабильность обучения. deepai.org Одна из причин нестабильности — расхождение между встраиванием модели и распределением кодовых векторов. deepai.org
• Невозможность восстановления кодов, которые больше не используются. proceedings.mlr.press Даже при хороших начальных условиях сложно поддерживать эффективное использование кодового словаря на протяжении всего обучения. proceedings.mlr.press
• Асимметричный характер потери приверженности. deepai.org Это приводит к неправильному назначению кодовых векторов. deepai.org

Обычно потеря приверженности вычисляется с помощью MSE, которая измеряет разницу между непрерывным кодированным вектором и его квантованной версией. huggingface.co github.com Поскольку кодовый словарь постоянно обновляется, MSE может расти, и это не всегда ожидаемо. github.com

Для решения этих проблем предлагают различные методы оптимизации, например аффинную репараметризацию кодовых векторов или альтернативную оптимизацию. proceedings.mlr.press deepai.org