Как устроена архитектура индексной поисковой системы?

Архитектура индексной поисковой системы может включать следующие компоненты: www.bazhenov.me

1. Index Node (IN). www.bazhenov.me Машины, выполняющие запросы над инвертированным индексом. www.bazhenov.me
2. Index Master (IM). www.bazhenov.me Машина, обновляющая инвертированный индекс. www.bazhenov.me
3. Document Storage (DS). www.bazhenov.me Машины, занимающиеся хранением исходных документов. www.bazhenov.me
4. Coordinator (CN). www.bazhenov.me Машины, являющиеся фасадом к поисковой системе для клиентов. www.bazhenov.me Они инициируют и координируют деятельность внутри кластера, связанную с обработкой пользовательского запроса. www.bazhenov.me
5. Notification Broker. www.bazhenov.me Система обмена сообщениями, которая используется для синхронизации состояния кластера. www.bazhenov.me

Индекс в такой системе представляет собой набор связанных между собой файлов, ориентированных на быстрый поиск данных по запросу. www.osp.ru Он разбивается на непересекающиеся куски примерно одинакового размера, каждый из которых отдаётся на обработку отдельной партиции. www.bazhenov.me Партиция состоит из нескольких машин (реплик), которые хранят копию одной и той же части индекса и обрабатывают пользовательские запросы над этой частью индекса. www.bazhenov.me

Index Node выполняют всю работу, связанную с поиском. www.bazhenov.me На вход от координаторов они принимают детализированный поисковый запрос, параметры сортировки и фасетирования, а на выходе возвращают Top N документов, удовлетворяющих запросу. www.bazhenov.me

Координаторы управляют процессом поиска. www.bazhenov.me При поиске координатор выбирает по одной реплике из каждой партиции и передаёт запрос им. www.bazhenov.me После того как реплики ответят, координатор объединяет частичные результаты, полученные от реплик, выполняет пейджинг, получает необходимые документы из БД и отдаёт ответ клиенту. www.bazhenov.me