Как работает модель GPT-4o в ChatGPT?

Модель GPT-4o в ChatGPT работает по принципу мультимодальности. journal.tinkoff.ru Она принимает на входе и генерирует на выходе любые комбинации текста, аудио и изображений. journal.tinkoff.ru

Некоторые особенности работы GPT-4o:

• Распознавание речи. journal.tinkoff.ru Голосовой ассистент распознаёт речь и поддерживает диалоги в реальном времени. journal.tinkoff.ru Время отклика на аудиозапросы составляет в среднем 0,3 секунды, что сопоставимо со скоростью реакции человека. journal.tinkoff.ru
• Распознавание видео и изображений. journal.tinkoff.ru GPT-4o лучше анализирует и интерпретирует визуальные данные. journal.tinkoff.ru Она распознаёт объекты, действия и сцены в видео. journal.tinkoff.ru
• Увеличенное контекстное окно. journal.tinkoff.ru Нейросети можно «скармливать» большие объёмы информации. journal.tinkoff.ru Например, на презентации она поддерживала разговор в течение семи минут, а в примерах на сайте OpenAI сделала краткий пересказ 40-минутного видео. journal.tinkoff.ru

GPT-4o представляет собой единую модель, обученную на тексте, изображениях и аудио одновременно. habr.com Такой подход позволяет ChatGPT не терять значительные объёмы информации на этапе обработки. habr.com