Механизм RAG (Retrieval-Augmented Generation) в современных языковых моделях работает в два основных этапа: 3

1. Извлечение релевантных документов или их частей из внешней базы знаний на основе запроса пользователя. 3
2. Подстановка полученной информации вместе со специальными подсказками, указывающими, как модель должна использовать эти данные, в контекст языковой модели для генерации итогового ответа. 3

Типичная схема работы RAG состоит из трёх этапов: 5

1. Индексация. 5 Документы разбиваются на фрагменты, преобразуются в векторные представления и сохраняются в векторной базе данных. 5
2. Извлечение. 5 Поиск наиболее релевантных фрагментов по семантической близости к вопросу. 5
3. Генерация. 5 Формирование ответа LLM на основе объединённого контекста (запроса пользователя и извлечённых данных) с дополнительными инструкциями в промпте. 5

RAG состоит из нескольких ключевых компонентов, каждый из которых играет важную роль в процессе обработки запросов: 4

• Базы знаний — проиндексированные источники, по которым составляются ответы. 4
• Поиск (retriever) — сервис, отвечающий за поиск релевантных запросу фрагментов. 4
• Большая языковая модель (LLM) — отвечает за генерацию ответа как по общим знаниям, так и по найденным фрагментам. 4
• Модуль статистики — сервис по обработке полученных результатов, который позволяет оценивать полученные ответы и формировать отчёты по качеству работы нейросети. 4