Как работает мультимодальная нейросеть Visual Language Model в Алисе?

Мультимодальная нейросеть Visual Language Model (VLM) в Алисе работает следующим образом: t.me

1. Пользователь может загрузить изображение в чат или показать ассистенту что-то через камеру смартфона. t.me
2. Когда Алиса получает изображение и запрос, последний отправляется в рефразер, который адаптирует вопрос для поиска в интернете. t.me Например, если пользователь показывает Алисе булгур и спрашивает «Сколько варить?», рефразер превращает вопрос в «сколько варить булгур». t.me
3. Далее запрос отправляется в интернет. t.me Модель собирает всю нужную информацию и выдаёт пользователю ответ. t.me

Например, с помощью Live-режима, основанного на VLM, Алиса способна в реальном времени распознавать и описывать объекты, которые пользователь показывает через камеру смартфона. www.comss.ru