Как работают современные мультимодальные нейросети?

Современные мультимодальные нейросети работают, объединяя несколько унимодальных моделей. 1 Например, текстовые модели работают с отдельными словами, представляя их в виде числовых матриц — векторов, отражающих их значение в контексте. 1 Визуальные модели используют пиксели, а аудиомодели — звуковые частоты. 1

Процесс объединения этих моделей (называемый фьюжн) позволяет создавать более полные и точные описания объектов и событий. 1 Например, понятие «человек» для такой нейросети — это не просто слово, но и голос, одежда, внешность, манера движения. 3

Также существует единый метод обучения нейросетей, подходящий для работы с изображениями, звуком и текстом. 4 В нём используется две идентичные нейросети — учитель и ученик. 4 Учитель получает полные входные данные, а ученик получает частичные и учится предсказывать внутреннее представление полной версии этих данных в модели-учителе. 4