Некоторые типы модулей, которые используются в современных поисковых системах:
- Модуль индексирования. 2 Включает в себя программы-роботы, которые обходят по ссылкам заданное множество ресурсов, скачивают встречающиеся страницы, извлекают ссылки на новые страницы из получаемых документов и производят полный анализ этих документов. 2 В состав модуля входят Spider (паук), Crawler («путешествующий» паук) и Indexer (робот-индексатор). 2
- База данных. 12 Это хранилище для скачанных и обработанных страниц. 1 В базе данных хранятся специальным образом преобразованные параметры всех скачанных и обработанных модулем индексирования документов. 2
- Поисковый сервер. 2 Важнейший элемент системы, так как от алгоритмов, которые лежат в основе его функционирования, напрямую зависит качество и скорость поиска. 2
- Система выдачи результатов. 1 Извлекает результаты поиска из базы данных поисковой системы. 1 Решает, какие страницы более соответствуют запросу пользователя, и отсортировывает их в нужном порядке. 1 Модуль работает согласно заданным поисковой системой алгоритмам ранжирования. 1