В 1990-е годы развитие поисковых систем было связано с появлением веб-краулеров. 1 Эти программы автоматически перемещались по сети, переходя по ссылкам, чтобы собирать и индексировать веб-страницы. 1

Одним из первых веб-краулеров был «Арчи», разработанный Аланом Эмтеджем в 1990 году. 1 Он индексировал сайты FTP (File Transfer Protocol), чтобы помочь пользователям найти загружаемые файлы. 1

В 1993 году появился World Wide Web Wanderer Мэтью Грея, что положило начало веб-индексированию в том виде, в котором мы его знаем. 1 За ним последовала разработка Aliweb (Archie-like Indexing for the Web), которая позволяла веб-мастерам добровольно отправлять свои страницы на индексацию. 1

Первой поисковой системой, объединившей в себе краулер и индексируемую базу данных, стал WebCrawler, запущенный в 1994 году Брайаном Пинкертоном. 1 В отличие от предыдущих поисковых систем, WebCrawler индексировал полный текст веб-страниц, значительно повышая точность и полноту поиска. 1

В середине 1990-х годов появилось несколько коммерческих поисковых систем, которые стремились извлечь выгоду из растущего спроса на услуги веб-поиска. 1 Одной из самых заметных стала компания Lycos, основанная Майклом Лореном Маулдином в 1994 году в Университете Карнеги-Меллон. 1 Lycos быстро стал популярным благодаря обширному индексу и расширенным возможностям поиска. 1

Другим значимым игроком стала компания AltaVista, запущенная в 1995 году корпорацией Digital Equipment. 1 AltaVista представила несколько инноваций, включая быструю и масштабируемую архитектуру, запросы на естественном языке и расширенные функции поиска, такие как булевы операторы. 1

В 1996 году в рунете появился первый полноценный поисковик — «Рамблер». 4 Его создание было продиктовано практической необходимостью: зарубежные системы плохо работали с кириллицей, путали кодировки и выдавали некорректные результаты. 4