Несколько способов оптимизации подсчёта слов в больших текстовых массивах:

• Использование многопоточности. 2 Можно настроить работу так, чтобы синтаксический анализ каждого символьного блока занимал примерно одинаковое время. 2 Когда один поток завершает чтение блока, другой находится в списке ожидания для чтения следующего блока. 2
• Побайтное чтение. 4 Можно хранить в памяти только текущий байт из файла, чтобы с ним можно было что-то сделать на уровне логики. 4
• Генераторы (yield). 4 Они отдают данные по мере поступления, а обработка организована итератором. 4 Это позволяет в один момент времени работать только с одним словом. 4
• Алгоритм MapReduce. 1 Можно раздробить текст по количеству вычислительных возможностей и использовать этот алгоритм для подсчёта слов. 1
• Отслеживание разделённых пополам слов. 2 Если один блок заканчивается символом, не содержащим пробела, и следующий блок также начинается с символа, не содержащего пробела, то там наверняка есть слово, разделённое пополам. 2 Можно отследить это количество и вычесть его из общего числа слов. 2