Некоторые главные вызовы при разработке мультимодальных ИИ-систем:

• Сложность синхронизации данных. 3 Различия по формату, времени получения, уровню шума и достоверности информации могут создавать трудности при объединении и интерпретации данных. 3
• Требования к вычислительным ресурсам. 3 Мультимодальные системы, обрабатывающие большие объёмы данных из различных источников, требуют значительных вычислительных мощностей. 3 Расширение функциональности таких систем часто приводит к увеличению затрат на аппаратное обеспечение и энергоэффективность. 3
• Обеспечение корректной интеграции. 3 Важно обеспечить, чтобы алгоритмы, обрабатывающие текст, изображения, аудио и сенсорные данные, могли корректно взаимодействовать друг с другом для создания единичного и цельного результата анализа. 3
• Нехватка чистых, маркированных мультимодальных наборов данных для обучения моделей ИИ. 4 В отличие от наборов данных по одной модальности, которые более многочисленны, мультимодальные наборы требуют аннотаций, отражающих корреляции между различными модальностями, что делает их создание более трудоёмким и ресурсоёмким. 4
• Обеспечение беспристрастности мультимодального ИИ. 4 При разработке решений необходимо учитывать различные типы изображений, текста, видео и аудио, а также предубеждения, которые могут возникнуть у самих разработчиков. 4
• Конфиденциальность и защита данных. 4 Могут возникнуть вопросы о праве собственности на данные, согласии на их передачу и защите от неправомерного использования в условиях, когда люди не могут полностью контролировать результаты работы ИИ. 4