Функция фильтрации ботов в современных парсерах может работать по разным принципам, например:

• Использование чёрных и белых списков. 1 Анализируются IP-адреса, значения заголовков User-Agent, Refferrer и других параметров. 1
• Ведение статистики. 2 При входе пользователя или бота на сайт ведётся учёт, который позволяет определить, кто является ботом, а кто — нормальным пользователем. 2
• Установка ограничений. 1 Например, может быть ограничено количество запросов с одного IP-адреса за единицу времени. 1
• Отслеживание соотношения запросов. 1 Если с какого-то IP-адреса регулярно запрашиваются HTML-страницы, но не запрашиваются изображения, это может быть подозрительно. 1

Некоторые парсеры, например Telegram Soft, позволяют фильтровать пользователей по их активности, исключая ботов. 3