Как функционирует глубокая сеть и почему её нельзя обнаружить обычными поисковиками?

Глубокая сеть (также известна как «Невидимая сеть», «Глубокая паутина», «Глубокий интернет», англ. deep web) — множество веб-страниц Всемирной паутины, не индексируемых поисковыми системами. ru.wikipedia.org

Некоторые особенности функционирования глубокой сети:

• В ней находятся веб-страницы, не связанные с другими гиперссылками (например, тупиковые веб-страницы, динамически создаваемые скриптами на самих сайтах, по запросу, на которые не ведут прямые ссылки). ru.wikipedia.org ru.ruwiki.ru
• Также в глубокую сеть попадают сайты, владельцы которых добровольно отказались от индексации поисковыми системами (например, с помощью файла «robots.txt»). ru.wikipedia.org ru.ruwiki.ru
• Ещё в глубокую сеть входят сайты и веб-страницы, защищённые авторизацией от просмотра информации третьими лицами. ru.wikipedia.org ru.ruwiki.ru

Несколько причин, почему глубокую сеть нельзя обнаружить обычными поисковиками:

• Отсутствие ссылок. ru.wikipedia.org Поисковые системы используют специальных поисковых роботов, которые переходят по гиперссылкам и индексируют содержимое веб-страниц, занося их в свои базы данных. ru.wikipedia.org Если на страницу нет ссылок с других страниц, поисковый бот не может попасть на неё, и содержимое такой страницы не индексируется. ru.wikipedia.org
• Динамические страницы. ru.ruwiki.ru Поисковые роботы не ищут динамические страницы, которые являются результатом запросов к базе данных из-за неопределённого количества этих самых запросов. ru.ruwiki.ru
• Ограниченный доступ. computer.howstuffworks.com Существуют сайты с ограниченным доступом, которые больше не разрешают публичный просмотр по истечении определённого срока. computer.howstuffworks.com