Как работает мультимодальная нейросеть GigaChat?

GigaChat работает благодаря взаимодействию нескольких нейросетей, которые образуют ансамбль NeONKA (NEural Omnimodal Network with Knowledge‑Awareness). www.reg.ru ai.sber.ru

Некоторые модели ансамбля и их функции:

• RuGPT-3.5. www.baby.ru ai.sber.ru Языковая модель, которая работает с текстом. www.baby.ru Она позволяет GigaChat понимать, писать и вести беседу. www.baby.ru
• FRED-T5. www.baby.ru ai.sber.ru Языковая T5-модель, которая обучена понимать русский язык и выполнять множество разных задач: перевод, восстановление пропусков в тексте, упрощение текста и ответы на вопросы по нему, и так далее. ai.sber.ru
• Kandinsky 2.2. ai.sber.ru Нейросеть для генерации изображений, обученная на массиве из почти трёх миллиардов пар картинок и их текстовых описаний. ai.sber.ru GigaChat отправляет запрос нейросети для генерации изображений, а затем показывает пользователю результат работы Kandinsky. ai.sber.ru
• RuCLIP. ai.sber.ru Модель-«переводчик», которая анализирует изображения и тексты, а затем переводит их на понятный нейросетям «язык». ai.sber.ru

GigaChat работает в формате чата: пользователь отправляет запрос, а нейросеть на него отвечает. www.reg.ru www.etxt.ru Нейросеть способна запоминать контекст беседы, в процессе можно делать уточнения, чтобы улучшить результат. www.etxt.ru