Работа мультимодальных моделей ChatGPT отличается от классических текстовых тем, что они способны обрабатывать информацию из различных источников. 1 В отличие от традиционных систем искусственного интеллекта, которые специализируются на одном типе данных, например тексте или изображениях, мультимодальные модели синтезируют данные из разных источников, включая текст, изображения, аудио, видео и многое другое. 1

Некоторые особенности работы мультимодальных моделей ChatGPT:

• Голосовые возможности. 2 Пользователи могут задавать вопросы голосом и получать аудиовоспроизведение ответов. 2 Это особенно удобно, если руки заняты или набор текста неудобен. 2
• Работа с изображениями. 2 Модель способна интерпретировать визуальные данные и предоставлять подробные объяснения. 2 Например, она может анализировать графики и объяснять, какие данные они отображают, распознавать текст на изображениях. 2
• Расширенные контекстные окна. 4 Например, ChatGPT 4o поддерживает контекстные окна объёмом до 128 тыс. токенов, что позволяет поддерживать расширенные диалоги и обрабатывать документы большего размера. 4
• Оптимизированная работа с данными. 5 Модель оптимизирована для работы как со структурированными, так и неструктурированными данными, лучше воспринимает неоднозначную или противоречивую информацию. 5