Как работает кодирование текста с помощью модели CLIP?

Кодирование текста с помощью модели CLIP (Contrastive Language-Image Pre-training) происходит с помощью компонента Text Encoder. habr.com dzen.ru Эта часть модели кодирует текстовые описания и переводит их в общее векторное пространство. habr.com

Процесс работы: habr.com

1. На основе выбранного набора классов создаётся текст (описание), который затем подаётся на вход Text Encoder. habr.com
2. Эмбеддинги текста сопоставляются с эмбеддингами изображения, полученными с помощью Image Encoder. habr.com
3. Выбирается то описание, эмбеддинг которого наиболее близок к эмбеддингу изображения с точки зрения косинусного расстояния. habr.com

Обучение CLIP основано на принципах контрастивного обучения (Contrastive Learning). dzen.ru Модель обучается на огромном датасете, состоящем из 400 миллионов пар изображений и текстовых описаний. dzen.ru Во время обучения CLIP учится предсказывать, какие пары изображений и текстов действительно соответствуют друг другу. dzen.ru Это достигается путём сближения векторных представлений соответствующих пар текста и изображения, а также увеличения расстояния между представлениями несоответствующих пар. dzen.ru