Как работает генеративная текстовая модель Alice AI LLM?

Генеративная текстовая модель Alice AI LLM работает на архитектуре MoE (Mixture of Experts), количество параметров которой составляет сотни миллиардов. ict.moscow Для обучения модели разработали новый метод тренировки на основе обучения с подкреплением (Online RL). ict.moscow

Процесс работы включает несколько этапов: ru.wikipedia.org

1. Pretraining. ru.wikipedia.org Модель учит структуру языка и запоминает факты о мире. ru.wikipedia.org Для обучения используют терабайты текста из интернета, книг и других общедоступных источников, отобранных с помощью поисковых моделей «Яндекса» и разбитых на небольшие фрагменты (токены). ru.wikipedia.org
2. Fine-tuning. ru.wikipedia.org Эксперты оптимизируют миллиарды параметров модели, собирая большой датасет из сотен тысяч примеров максимально разнообразных задач с хорошими ответами. ru.wikipedia.org
3. Продуктовые доработки. ru.wikipedia.org Модели придают «человеческий характер», чтобы она могла отвечать на вопросы о себе и была более живой в общении. ru.wikipedia.org

Возможности Alice AI LLM объединили с генеративным поиском. ict.moscow Модель способна комбинировать разные типы контента, объём изучаемых данных вырос в несколько раз. ict.moscow

Alice AI LLM подходит для поиска по документам, подготовки материалов для продаж и поддержки, генерации презентаций, построения агентских сценариев и других задач, где требуется контекст и «человечное» объяснение. postium.ru