Как работают алгоритмы поиска подстрок в больших массивах данных?

Некоторые алгоритмы поиска подстрок в больших массивах данных и их принцип работы:

• Алгоритм Кнута-Морриса-Пратта (KMP). tproger.ru Предназначен для поиска подстрок с предварительной обработкой шаблона. tproger.ru Сначала создаётся таблица префиксов, которая выявляет сдвиги шаблона при несовпадении. tproger.ru Затем эта же таблица используется для увеличения количества позиций сдвига во время поиска подстроки в тексте. tproger.ru Сложность алгоритма KMP — O(n + m), где n — длина текста, m — длина шаблона. tproger.ru
• Алгоритм Рабина-Карпа. tproger.ru habr.com Создан для поиска подстроки через хеширование. tproger.ru Вместо того чтобы сравнивать подстроку с каждой позицией строки посимвольно, алгоритм: habr.com
• вычисляет хэш подстроки (то, что ищут); habr.com
• берёт хэш каждого куска строки такой же длины; habr.com
• если хэши совпали, выполняет обычное посимвольное сравнение (на случай коллизий); habr.com
• двигает окно дальше без пересчёта хэша с нуля, а обновляет его за O(1). habr.com

Алгоритм Рабина-Карпа применяется в поиске ключевых слов в поисковых системах, а также в поиске дубликатов в анализе данных. habr.com