Как работает мультимодальная нейросеть GigaChat от Сбера?

Мультимодальная нейросеть GigaChat от Сбера работает благодаря взаимодействию нескольких модулей, которые умеют выполнять задачи с текстом, изображениями и аудиозаписями. sky.pro

В GigaChat есть четыре основных модуля, объединённых в ансамбль под названием NeONKA: sky.pro hi-tech.mail.ru

1. ruGPT-3 — основа нейросети, текстовый модуль, аналог GPT-3. sky.pro hi-tech.mail.ru Обучен на 13 миллиардах параметров. hi-tech.mail.ru
2. FRED-T5 — языковая модель на базе языковой модели T5 от Google. sky.pro hi-tech.mail.ru Может переписывать тексты и создавать новые с учётом контекста. sky.pro
3. ruCLIP — модуль, который распознаёт изображения и даже сопоставляет их с текстом. sky.pro hi-tech.mail.ru
4. Kandinsky — нейросеть, которая генерирует изображения. sky.pro hi-tech.mail.ru

GigaChat работает через чат: пользователь делает запрос, а нейросеть на него отвечает. www.etxt.ru Нейросеть способна запоминать контекст беседы, в процессе можно делать уточнения, чтобы улучшить результат. www.etxt.ru

GigaChat оптимизирована для работы с русским языком, что позволяет ей лучше понимать и генерировать тексты для русскоязычных пользователей. hi-tech.mail.ru