Как работает мультимодальная нейросеть GigaChat от Сбера?

Мультимодальная нейросеть GigaChat от Сбера работает благодаря взаимодействию нескольких модулей, которые умеют выполнять задачи с текстом, изображениями и аудиозаписями. 3

В GigaChat есть четыре основных модуля, объединённых в ансамбль под названием NeONKA: 34

1. ruGPT-3 — основа нейросети, текстовый модуль, аналог GPT-3. 34 Обучен на 13 миллиардах параметров. 4
2. FRED-T5 — языковая модель на базе языковой модели T5 от Google. 34 Может переписывать тексты и создавать новые с учётом контекста. 3
3. ruCLIP — модуль, который распознаёт изображения и даже сопоставляет их с текстом. 34
4. Kandinsky — нейросеть, которая генерирует изображения. 34

GigaChat работает через чат: пользователь делает запрос, а нейросеть на него отвечает. 1 Нейросеть способна запоминать контекст беседы, в процессе можно делать уточнения, чтобы улучшить результат. 1

GigaChat оптимизирована для работы с русским языком, что позволяет ей лучше понимать и генерировать тексты для русскоязычных пользователей. 4