Как с помощью регулярных выражений ускорить обработку больших текстовых файлов?

Несколько рекомендаций, как ускорить обработку больших текстовых файлов с помощью регулярных выражений:

• Компилировать шаблоны регулярных выражений. uproger.com Для этого нужно использовать функцию re.compile(). uproger.com Она предварительно компилирует регулярные выражения в байткод, который будет работать на эффективном движке C. uproger.com
• Использовать кэш LRU. uproger.com Кэш хранит результат вызова функции, возвращая ранее вычисленный результат при последующих вызовах для тех же входных параметров. uproger.com Таким образом, медленный регулярный выражение нужно запустить только один раз для каждой уникальной строки, а последующие вызовы происходят за время O(1). uproger.com
• Преобразовать предложения в список слов. stackoverflow.com Для этого нужно разделить каждое предложение на границы слов. stackoverflow.com Так обработка будет быстрее, потому что нужно будет проходить по каждому слову и проверять, соответствует ли оно шаблону. stackoverflow.com
• Использовать ленивые квантификаторы. javarush.com Они начинают с наименьшего совпадения и двигаются дальше, если надо. javarush.com
• Указать длину. javarush.com Оптимизатор регулярных выражений проверяет длину входной строки и в некоторых случаях позволяет прекращать поиск сразу. javarush.com Для этого нужно по возможности указывать число повторений. javarush.com
• Выделить одинаковые строки. javarush.com Это даст регулярному выражению оптимизатору больше информации. javarush.com

Выбор метода зависит от конкретной ситуации и целей обработки.