Как работает технология интернет-архивирования?

Технология интернет-архивирования работает следующим образом: thecode.media

1. Роботы веб-архива (веб-краулеры) получают список URL-адресов, по которым находятся нужные для архивации сайты. knife.media
2. Робот посылает HTTP-запрос на веб-сервер, а затем как бы «перехватывает» содержимое, передаваемое сервером. knife.media
3. Параллельно робот создаёт новый список — он анализирует просмотренные страницы на предмет гиперссылок. knife.media По этим ссылкам лежат файлы или целые веб-страницы, которые тоже нужно заархивировать. knife.media
4. В итоге сервис сохраняет на свои серверы полную копию всего, что нашёл на странице. thecode.media Когда веб-архив приходит на сайт в следующий раз, он не удаляет предыдущую копию, а сохраняет новую. thecode.media

Например, в сервисе Wayback Machine от организации «Архив Интернета» роботы периодически заходят на разные сайты и копируют всё, что там есть: HTML-страницы, CSS-стили и скрипты, которые относятся к сайту; картинки, видео и музыку; разные файлы и документы, которые в этот момент доступны на сайте. thecode.media

Когда веб-архив приходит на сайт в следующий раз, он не удаляет предыдущую копию, а сохраняет новую. thecode.media Благодаря этому можно посмотреть, как выглядел сайт какое-то время назад — месяц, год или 10 лет до этого. thecode.media