Как настроить и ротировать прокси в Python Scrapy

Порядок работы middleware в Scrapy и параметры параллелизма

Так как стандартный HttpProxyMiddleware работает с приоритетом 750 (удаляет user:pass из URL и формирует заголовок Proxy-Authorization), любой пользовательский middleware, устанавливающий request.meta['proxy'], должен запускаться с меньшим числовым значением (например, 740):

Рекомендации для высоконагруженного парсинга в Scrapy

• Загружайте список прокси VinaProxy в методе from_crawler() и назначайте request.meta['proxy'] = random.choice(self.proxies) внутри process_request()
• Включайте RANDOMIZE_DOWNLOAD_DELAY = True совместно с DOWNLOAD_DELAY = 1.0, чтобы интервалы запросов с каждого IP выглядели естественно
• При ошибках и повторных попытках (429 или 503) выбирайте другой прокси перед повторной отправкой запроса в очередь

Пошаговая инструкция

1. 1

   Преобразуйте список прокси в формат http://user:pass@ip:port

   Вставьте список прокси VinaProxy в наш Конвертер форматов прокси для получения стандартных URL-строк.

2. 2

   Создайте ProxyPoolMiddleware в файле middlewares.py

   Определите метод process_request(self, request, spider), присваивающий request.meta['proxy'] = random.choice(self.proxies).

3. 3

   Зарегистрируйте middleware с приоритетом 740 в settings.py

   Добавьте строку 'myproject.middlewares.ProxyPoolMiddleware': 740 в DOWNLOADER_MIDDLEWARES и установите CONCURRENT_REQUESTS_PER_IP = 2.

4. 4

   Проверьте работу через scrapy shell или команду запуска

   Отправьте проверочный запрос к https://vinaproxy.com/api/my-ip, чтобы подтвердить корректную ротацию и авторизацию.

Часто задаваемые вопросы