Как работает модель Aria для обработки видео и документов?

Модель Aria от компании Rhymes AI способна обрабатывать текст, изображения, видео и код одновременно, не требуя отдельных настроек для каждого типа данных. vk.com www.itweek.ru

Работа модели основана на архитектуре Mixture of Experts (MoE), которая включает множество подмоделей («мини-экспертов»). www.itweek.ru Каждая из них специализируется на разных аспектах входных данных или типах задач. www.itweek.ru

Процесс работы модели включает несколько этапов: vk.com

1. Первые два этапа связаны с обучением декодеров MoE и ViT на наборах текстовых данных и наборах смеси текст-изображение-видео. vk.com
2. На третьем этапе модель обучают на длинных мультимодальных последовательностях, чтобы расширить контекстное окно. vk.com
3. На последнем этапе выполняется дообучение на наборе данных вопрос-ответ, чтобы улучшить способность модели к выполнению инструкций. vk.com

Для обработки визуальных данных в Aria есть специальный компонент — кодировщик зрения, который преобразует изображения и кадры видео в визуальные токены. unfoldai.com Он работает в трёх режимах разрешения: unfoldai.com

• Среднее: 128 визуальных токенов для изображений с увеличенными до 490 пикселей краями. unfoldai.com
• Высокое: 256 визуальных токенов для изображений с увеличенными до 980 пикселей краями. unfoldai.com
• Ультравысокое: динамическое разложение изображений на несколько субизображений высокого разрешения. unfoldai.com

Архитектура Aria рассчитана на лёгкое масштабирование, поскольку для решения новых задач можно добавлять новых «экспертов», не перегружая систему. www.itweek.ru

Aria обладает длинным контекстным окном в 64 тыс. токенов, что позволяет ей эффективно обрабатывать большие объёмы данных, например, создавать аннотации к видео из 256 кадров за 10 секунд. vk.com