В чем заключается принцип работы морфологического поиска на основе ElasticSearch?

Принцип работы морфологического поиска на основе ElasticSearch заключается в комплексном полнотекстовом поиске по базе данных с учётом морфологии языка. habr.com www.ddplanet.ru

Процесс включает несколько этапов: habr.com

1. Преобразование отдельных символов. habr.com Например, перевод текста в нижний регистр или подстановка слов. xakep.ru
2. Разбиение символов на токены. habr.com xakep.ru Предложение очищается от знаков препинания и разбивается на отдельные слова-токены. xakep.ru
3. Обработка токенов. habr.com Например, приведение слов к нижнему регистру и использование собственного набора стоп-слов. habr.com

Для анализа текста в ElasticSearch используется официальный плагин, например analysis-morphology, который предоставляет фильтр токенов и позволяет искать с учётом словоформ. habr.com

В результате в индекс складываются только «обрывки» исходных данных, содержащие максимум смысла при минимуме знакового объёма. xakep.ru По этим «обрывкам» впоследствии проводится поиск. xakep.ru