В чем разница между ретретченными и генеративными чат-ботами?

Разница между ретретченными и генеративными чат-ботами заключается в их подходе к генерации ответов:

1. Ретретченные чат-боты используют модели ранжирующего поиска. habr.com Модель получает на вход историю диалога и затем ранжирует базу кандидатов, расставляя их по порядку в соответствии с релевантностью последней фразе пользователя. habr.com База кандидатов — это большой корпус текстов, составленный из реальных реплик живых людей, извлечённых из диалогов. habr.com
2. Генеративные чат-боты получают на вход токенизированную последовательность (реплику пользователя и весь предшествующий диалог). habr.com После этого они предсказывают следующий токен, дописывают его в конец входной последовательности, после чего она снова подаётся на вход. habr.com Этот процесс повторяется до тех пор, пока модели не надоест. habr.com

Таким образом, ретретченные чат-боты ищут подходящие ответы из базы кандидатов, а генеративные — генерируют новые тексты на основе полученной информации. habr.com market.cnews.ru