Основные принципы работы первых поисковых систем:

1. Сканирование. 1 Поисковая программа-робот (краулер) посещала сайты, переходила по имеющимся на них ссылкам и производила первичный анализ содержимого страниц. 1 В процессе сканирования обнаруживался новый и изменённый контент, устанавливались связи между страницами и сайтами, выявлялись нерабочие ссылки. 1
2. Индексация. 1 Собрав контент с разных сайтов, поисковик заносил данные в индексную базу, из которой впоследствии будет осуществляться выдача. 1 На этом этапе происходила сортировка информации по разным параметрам: страницы разбивались на части, извлекались и анализировались ключевые слова, метатеги, перекрёстные ссылки. 1
3. Ранжирование. 1 Определялось, какая информация по одному и тому же запросу должна выводиться в списке поисковой выдачи первой, какая второй, третьей, четвёртой и так далее. 1 Все страницы сортировались по соответствию контента поисковому запросу: чем выше показатель полноты содержащейся на странице информации, тем ближе она была к началу списка. 2