Как CLIP может использоваться для обнаружения и устранения предвзятости в визуальных классификаторах?

CLIP может использоваться для обнаружения предвзятости в визуальных классификаторах, поскольку модель изучает семантические ассоциации на парах изображение — подпись, взятых из интернета. www.unite.ai Этот подход, вероятно, отражает предвзятость людей, которые создавали подписи. www.unite.ai

Например, исследования показали, что CLIP связывает изображения с расовыми или этническими ярлыками на основе отклонения от белого цвета. www.unite.ai Также модель может проявлять предвзятость к изображениям женщин. www.unite.ai

Для устранения предвзятости можно применять принципы инклюзивности и разнообразия на этапе обучения моделей, чтобы минимизировать возможности проявления предвзятостей. blog.comandos.ai

Кроме того, существует метод PerceptionCLIP, который предполагает двухэтапную классификацию изображений с нулевым снимком. paperswithcode.com Сначала по заданному изображению выводятся контекстуальные атрибуты (например, фон), а затем на их основе выполняется классификация объектов. paperswithcode.com Такой подход улучшает классификацию изображений и снижает зависимость от ложных признаков. paperswithcode.com