Какие существуют способы оптимизации подсчета слов в больших текстовых массивах?

Несколько способов оптимизации подсчёта слов в больших текстовых массивах:

• Использование многопоточности. stackoverflow.com Можно настроить работу так, чтобы синтаксический анализ каждого символьного блока занимал примерно одинаковое время. stackoverflow.com Когда один поток завершает чтение блока, другой находится в списке ожидания для чтения следующего блока. stackoverflow.com
• Побайтное чтение. dzen.ru Можно хранить в памяти только текущий байт из файла, чтобы с ним можно было что-то сделать на уровне логики. dzen.ru
• Генераторы (yield). dzen.ru Они отдают данные по мере поступления, а обработка организована итератором. dzen.ru Это позволяет в один момент времени работать только с одним словом. dzen.ru
• Алгоритм MapReduce. qna.habr.com Можно раздробить текст по количеству вычислительных возможностей и использовать этот алгоритм для подсчёта слов. qna.habr.com
• Отслеживание разделённых пополам слов. stackoverflow.com Если один блок заканчивается символом, не содержащим пробела, и следующий блок также начинается с символа, не содержащего пробела, то там наверняка есть слово, разделённое пополам. stackoverflow.com Можно отследить это количество и вычесть его из общего числа слов. stackoverflow.com