Некоторые способы защиты контента от индексации:

• Использование файла robots.txt. 15 Этот текстовый документ предоставляет поисковикам информацию о том, какие страницы и файлы на сайте можно обрабатывать, а какие нет. 1 Основная функция — сократить количество запросов к сайту и снизить на него нагрузку. 1
• Добавление специальных метатегов в HTML-код. 12 Например, директива noindex запрещает поисковому роботу индексировать текст страницы, а nofollow — переходить по ссылкам на ней. 2
• Ограничение возможности посещения ботов-поисковиков на сервере. 1 Для этого в корне сайта нужно найти файл .htaccess и добавить в него определённый код. 1
• Использование авторизации на сайте. 4 Этот способ рекомендуется, чтобы скрыть от индексирования главную страницу сайта. 4
• Подгрузка текста по параметру в хеш-ссылке. 3 Протокол HTTP/HTTPS не был разработан для такого использования, поэтому при использовании этого метода индексация не происходит. 3

Выбор способа защиты контента от индексации зависит от конкретных задач и предпочтений.