Cómo configurar y rotar proxies en Python Scrapy

Orden del middleware de proxy en Scrapy y parámetros de concurrencia

Debido a que HttpProxyMiddleware se ejecuta con prioridad 750 para extraer user:pass de la URL del proxy y codificar el encabezado Proxy-Authorization, cualquier middleware personalizado que configure request.meta['proxy'] debe ejecutarse con un número menor (por ejemplo, 740):

Buenas prácticas para rastreos masivos con Scrapy

• Carga tu lista de proxies VinaProxy en el método from_crawler() y asigna request.meta['proxy'] = random.choice(self.proxies) dentro de process_request()
• Activa RANDOMIZE_DOWNLOAD_DELAY = True junto con DOWNLOAD_DELAY = 1.0 para que los intervalos de petición de cada IP no parezcan patrones automatizados
• En caso de reintento (429 o 503), selecciona un proxy diferente de tu pool antes de volver a encolar la solicitud

Paso a paso

1. 1

   Formatea tu pool de proxies como http://user:pass@ip:port

   Pega tu lista de VinaProxy en nuestro Conversor de formato de proxy para generar las URLs requeridas.

2. 2

   Crea la clase ProxyPoolMiddleware en middlewares.py

   Define process_request(self, request, spider) asignando request.meta['proxy'] = random.choice(self.proxies).

3. 3

   Registra el middleware con prioridad 740 en settings.py

   Añade 'myproject.middlewares.ProxyPoolMiddleware': 740 en DOWNLOADER_MIDDLEWARES y fija CONCURRENT_REQUESTS_PER_IP = 2.

4. 4

   Prueba con scrapy shell o scrapy crawl

   Lanza una petición de prueba contra https://vinaproxy.com/api/my-ip para verificar la rotación y la autenticación del proxy.

Preguntas frecuentes