Мультимодальная нейросеть в современных ассистентах работает за счёт одновременной обработки нескольких типов данных (модальностей): текста, изображений, аудио, видео и даже сенсорной информации. 12

Главная цель — научить систему понимать, как разные модальности соотносятся друг с другом, и использовать это понимание для решения более сложных задач. 2 Например, при анализе видеоматериалов мультимодальная система обрабатывает не только визуальный контент, но и учитывает произносимые диалоги, окружающие звуки и сопровождающие субтитры. 4

Это достигается с помощью специальной архитектуры, которая включает: 2

• Энкодеры — модули, преобразующие данные каждой модальности (текст, изображение, аудио) в векторное представление. 2
• Декодеры — модули, восстанавливающие или генерирующие данные из этих представлений. 2
• Общее ядро, в котором происходит взаимодействие между энкодерами и декодерами. 2

Текст переводится в векторные представления с помощью языковой модели, изображения — с помощью свёрточной нейросети или трансформера для картинок, а дальше происходит их совместная обработка. 2

Некоторые примеры работы мультимодальных нейросетей:

• DALL-E — искусственный интеллект, разработанный OpenAI для эффективного преобразования текста в изображение. 5
• MURAL — модель искусственного интеллекта, разработанная Google AI для сопоставления изображения, текста и перевода одного языка на другой. 5
• VATT — проект Google AI по созданию мультимодальной модели на основе видео-аудио-текста. 5