Какие есть методы улучшения производительности сверточных нейронных сетей при использовании triplet loss?

Некоторые методы улучшения производительности свёрточных нейронных сетей при использовании triplet loss:

• Semi-hard triplet mining. www.v7labs.com elib.bsu.by При этом методе выбирают триплеты, в которых отрицательный пример находится ближе к якорному, чем положительный, но всё ещё в пределах заданного порога (margin). www.v7labs.com Это позволяет модели сосредоточиться на обучении на сложных, но не слишком трудных примерах. www.v7labs.com
• Distance-weighted triplet mining. www.v7labs.com Основная идея метода — выбирать триплеты, взвешивая вероятность выбора конкретного триплета на основе расстояний между якорным, положительным и отрицательным примерами. www.v7labs.com Такой подход заставляет модель фокусироваться на более широком диапазоне примеров во время обучения, включая лёгкие, полусложные и сложные триплеты. www.v7labs.com
• Онлайн-добыча триплетов. www.v7labs.com Этот метод важен при обучении сиамских сетей с использованием triplet loss. www.v7labs.com Он обеспечивает, чтобы модель обучалась на информативных триплетах, что способствует хорошему обучению и обобщению. www.v7labs.com

Также для устранения коллапса нейронных сетей, обучаемых с использованием triplet loss, могут применяться такие подходы, как уменьшение learning rate, параметров P и K мини-батча, использование случайного подмножества меньшего размера. elib.bsu.by