Некоторые причины, по которым потеря приверженности может стать препятствием при обучении векторного квантования:

• Нестабильность обучения. 4 Одна из причин нестабильности — расхождение между встраиванием модели и распределением кодовых векторов. 4
• Невозможность восстановления кодов, которые больше не используются. 2 Даже при хороших начальных условиях сложно поддерживать эффективное использование кодового словаря на протяжении всего обучения. 2
• Асимметричный характер потери приверженности. 4 Это приводит к неправильному назначению кодовых векторов. 4

Обычно потеря приверженности вычисляется с помощью MSE, которая измеряет разницу между непрерывным кодированным вектором и его квантованной версией. 15 Поскольку кодовый словарь постоянно обновляется, MSE может расти, и это не всегда ожидаемо. 5

Для решения этих проблем предлагают различные методы оптимизации, например аффинную репараметризацию кодовых векторов или альтернативную оптимизацию. 24