Поисковый робот и поисковый паук (веб-паук, краулер) — это одно и то же. 17

Так называют специальные программы, которые в автоматическом режиме сканируют веб-страницы и передают собранные данные поисковой системе или компании-владельцу. 1

Некоторые особенности работы таких программ:

• Переход по доступным ссылкам. 1 Пауки собирают и анализируют содержимое страниц в интернете и отправляют полученные данные на сервер поисковой машины, чтобы пополнить и обновить выдачу. 1
• Сканирование документов разных форматов. 1 Помимо HTML-страниц, краулеры сканируют документы и других форматов, например Adobe PDF, Microsoft Excel, Microsoft PowerPoint и Microsoft Word. 1
• Отслеживание изменений. 1 Роботы не ограничиваются разовым посещением интернет-ресурса, они также отслеживают изменения и сообщают поисковой машине об удалении или перемещении уже проиндексированных страниц. 1