Почему модели с декодером более популярны для генерации текста, чем с энкодером?

Модели с декодером популярны для генерации текста, потому что они работают в режиме «продолжи текст». vc.ru Это делает их идеальными для потоковой генерации: один токен за другим, шаг за шагом. vc.ru

Модели с энкодером, например BERT, работают на предсказании пропущенных токенов внутри фразы. vc.ru Они не генерируют, а анализируют. vc.ru Поэтому BERT лучше в поиске, классификации, вопросах и ответах, но не в написании текстов. vc.ru

Кроме того, модели с декодером популярны из-за простоты архитектуры, способности извлекать уроки из немаркированных данных и впечатляющей производительности. stackoverflow.com