Поисковый робот собирает следующую информацию о веб-странице:
- Текстовое содержимое. 14 Робот определяет семантический смысл текста, его грамотность, форматирование и визуальное наполнение. 4
- Метаданные. 14 К ним относятся, например, title (заголовок страницы), description (описание страницы) и keywords (список ключевых слов). 4
- Ссылки. 1 Робот переходит по ссылкам, собирая и систематизируя информацию о них. 4
- Изображения. 15 Робот анализирует графическое наполнение страницы. 3
Также поисковые роботы проверяют файл robots.txt сайта, который содержит данные о его страницах, наполнении, приоритете для обхода или игнорирования роботами. 3