Учёт повторяемости слов важен при генерации случайных последовательностей, потому что позволяет создавать более разнообразные тексты. 1

Например, алгоритмы на основании цепей Маркова изучают, какие слова обычно идут друг за другом в исходном тексте, и, проходя по этим связям, составляют новый текст. 1 Чем больше размер исходного текста, тем больше связей между цепями и тем разнообразнее получается текст на выходе. 1

Также учёт повторяемости слов помогает предсказывать следующее слово по контексту предыдущих. 4 То есть вероятность появления слова зависит от слов, которые встречаются до него. 4

Кроме того, учёт повторяемости слов позволяет получать все пары слов, которые идут друг за другом — с повторениями и в том порядке, как они расположены в исходном тексте. 1