Как работает обучение с привязкой и отталкиванием в supervised contrastive learning?

Возможно, имелось в виду supervised contrastive learning (SCL) — направление, в котором модели обучают различать похожие и непохожие объекты с помощью помеченных данных. encord.com

Суть работы: модель обучают на парах точек данных и их метках, которые указывают, похожи ли эти точки или нет. encord.com Цель — научиться создавать пространство представлений, в котором похожие объекты будут группироваться близко друг к другу, а непохожие — отталкиваться. encord.com

Пример: нужно научить машину различать кошек и собак по входному изображению. wandb.ai В рамках SCL все изображения кошек должны быть близки друг к другу и далеки от всех изображений собак, и наоборот. wandb.ai

Обучение в SCL происходит в два этапа: wandb.ai

1. Первый этап. wandb.ai Сеть обучают с помощью контрастной потери. wandb.ai Изображения кодируют так, чтобы эмбеддинги одного класса были близки, а другого — далеки. wandb.ai Для этого используют метки изображений. wandb.ai
2. Второй этап. wandb.ai Сеть энкодера, использованная на первом этапе, замораживают, а сеть проектора отбрасывают. wandb.ai Затем эмбеддинги, полученные от сети энкодера, используют для обучения классификатора, который представляет собой линейный слой. wandb.ai

Для обучения часто применяют функцию InfoNCE, которая максимизирует согласие между позитивными образцами и минимизирует согласие между негативными образцами в пространстве полученных представлений. encord.com