Почему для токенизации русского языка требуется больше токенов, чем для английского?

Для токенизации русского языка требуется больше токенов, чем для английского, из-за склонений и морфологических особенностей русского языка. baza-nomerov.ru

В русском языке слова имеют склонения, спряжения и согласования по роду, числу, времени и другим параметрам, которые формируются в первую очередь за счёт окончаний. habr.com В некоторых случаях, особенно для языков с богатой морфологией, слово может быть разбито на части. baza-nomerov.ru

Например, слово «непереосмысленный» может быть разделено на несколько токенов: «не», «пере», «осмысленный». baza-nomerov.ru

По статистике, на одну английскую фразу длиной 75 слов приходится 100 токенов, а на русскую фразу той же длины — 120–150 токенов. www.techinsider.ru