Как работает мультимодальная нейросеть в современных ассистентах?

Мультимодальная нейросеть в современных ассистентах работает за счёт одновременной обработки нескольких типов данных (модальностей): текста, изображений, аудио, видео и даже сенсорной информации. serverflow.ru trends.rbc.ru

Главная цель — научить систему понимать, как разные модальности соотносятся друг с другом, и использовать это понимание для решения более сложных задач. trends.rbc.ru Например, при анализе видеоматериалов мультимодальная система обрабатывает не только визуальный контент, но и учитывает произносимые диалоги, окружающие звуки и сопровождающие субтитры. www.ultralytics.com

Это достигается с помощью специальной архитектуры, которая включает: trends.rbc.ru

• Энкодеры — модули, преобразующие данные каждой модальности (текст, изображение, аудио) в векторное представление. trends.rbc.ru
• Декодеры — модули, восстанавливающие или генерирующие данные из этих представлений. trends.rbc.ru
• Общее ядро, в котором происходит взаимодействие между энкодерами и декодерами. trends.rbc.ru

Текст переводится в векторные представления с помощью языковой модели, изображения — с помощью свёрточной нейросети или трансформера для картинок, а дальше происходит их совместная обработка. trends.rbc.ru

Некоторые примеры работы мультимодальных нейросетей:

• DALL-E — искусственный интеллект, разработанный OpenAI для эффективного преобразования текста в изображение. dzen.ru
• MURAL — модель искусственного интеллекта, разработанная Google AI для сопоставления изображения, текста и перевода одного языка на другой. dzen.ru
• VATT — проект Google AI по созданию мультимодальной модели на основе видео-аудио-текста. dzen.ru