Возможно, имелись в виду методы генерации текста, а не случайных слов. Некоторые этапы развития таких методов:
- Языковые модели на основе n-грамм. habr.com Основы были заложены в середине XX века, широкое распространение модели начались в 1980-х и 1990-х годах. habr.com В таких моделях вероятность следующего слова зависит только от предыдущего. habr.com
- Использование нейронных сетей. habr.com В 2000 году Йошуа Бенжио и его соавторы предложили использовать нейронные сети для оценки вероятностей слов. habr.com
- Языковые модели на основе RNN. habr.com Они учитывали связи между словами и всей последовательностью входных токенов. habr.com
- Сети, основанные на внимании. edverest.ru В 2015 году Бахданау и другие предложили механизм внимания, который позволил декодеру фокусироваться на различных частях входных данных при генерации каждого слова на выходе. edverest.ru
- Языковые модели на основе трансформеров. habr.com С момента изобретения архитектуры трансформера в 2017 году крупнейшими достижениями в области языкового моделирования считаются масштабирование размеров моделей, тонкая настройка для инструкций и другие. habr.com
Генерация текста путём составления из полностью случайных слов не применяется, так как такой результат бессмысленен для человека и легко распознаётся анализаторами текстов. ru.ruwiki.ru Обычно используется генерация по вручную написанным фразам-шаблонам. ru.ruwiki.ru