CLIP может использоваться для обнаружения предвзятости в визуальных классификаторах, поскольку модель изучает семантические ассоциации на парах изображение — подпись, взятых из интернета. 1 Этот подход, вероятно, отражает предвзятость людей, которые создавали подписи. 1

Например, исследования показали, что CLIP связывает изображения с расовыми или этническими ярлыками на основе отклонения от белого цвета. 1 Также модель может проявлять предвзятость к изображениям женщин. 1

Для устранения предвзятости можно применять принципы инклюзивности и разнообразия на этапе обучения моделей, чтобы минимизировать возможности проявления предвзятостей. 2

Кроме того, существует метод PerceptionCLIP, который предполагает двухэтапную классификацию изображений с нулевым снимком. 4 Сначала по заданному изображению выводятся контекстуальные атрибуты (например, фон), а затем на их основе выполняется классификация объектов. 4 Такой подход улучшает классификацию изображений и снижает зависимость от ложных признаков. 4