Некоторые причины, которые могут вызывать ошибку 406 при работе с веб-скрепингом:

• Неправильная конфигурация заголовков Accept. 5 Эти заголовки указывают серверу, какой тип контента ожидает клиент в ответе. 5 Например, Accept определяет ожидаемый тип медиа, Accept-Language указывает предпочтительные языки для ответа, Accept-Encoding определяет форматы сжатия, которые может обрабатывать клиент. 5
• Неправильный URL. 3 Неверно указанный, устаревший или неправильно отформатированный URL может запрашивать ресурсы, которые сервер не может правильно интерпретировать или не имеет. 3
• Использование неподдерживаемого формата кодировки. 3 Ошибка 406 может возникнуть, если сервер пытается использовать неподдерживаемый формат кодировки. 3
• Нарушение типа MIME. 3 Ошибка 406 может появиться, когда сервер не может предоставить контент в типе MIME, который принимает клиент. 3
• Блокировка запросов брандмауэром. 12 Например, ModSecurity блокирует запросы, которые считает зловредными. 2 Иногда под блокировку попадают и вполне безобидные обращения. 2
• Отправка сжатого контента, когда требуются данные без сжатия. 2

Также существует вероятность, что сервер намеренно возвращает ошибку 406, чтобы заблокировать веб-скрепинг. 5