Com configurar i rotar proxies a Python Scrapy
Updated:
El motor asíncron Twisted de Scrapy inclou un HttpProxyMiddleware integrat (amb prioritat 750) que analitza cadenes http://user:pass@ip:port assignades a request.meta['proxy']. Escriure un Downloader Middleware personalitzat de 10 línies amb prioritat 740 permet que les teves aranyes rotin automàticament entre un grup d'IPs estàtiques il·limitades de VinaProxy.
request.meta['proxy'] = 'http://user:pass@ip:port'- 1 IP40.000 ₫
- 5+ IPs35.000 ₫
- 10+ IPs25.000 ₫
- 20+ IPs25.000 ₫
- 50+ IPs25.000 ₫
- 100+ IPs25.000 ₫
- 200+ IPs25.000 ₫
- 500+ IPs25.000 ₫
- 1000+ IPs22.000 ₫
- 2000+ IPs20.000 ₫
- 1 IP40.000 ₫
- 5+ IPs35.000 ₫
- 10+ IPs25.000 ₫
- 20+ IPs25.000 ₫
- 50+ IPs25.000 ₫
- 100+ IPs25.000 ₫
- 200+ IPs25.000 ₫
- 500+ IPs25.000 ₫
- 1000+ IPs22.000 ₫
- 2000+ IPs20.000 ₫
Ordre del middleware de proxy i paràmetres de concurrència a Scrapy
Com que HttpProxyMiddleware s'executa a l'ordre 750 per extreure user:pass de l'URL del proxy i codificar la capçalera Proxy-Authorization, qualsevol middleware personalitzat que defineixi request.meta['proxy'] s'ha d'executar amb un número inferior (p. ex., 740):
| Paràmetre de Scrapy | Valor recomanat | Objectiu |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Encamina la petició a través del proxy de VinaProxy especificat |
| Prioritat del middleware | 740 (abans de 750) | Garanteix que HttpProxyMiddleware codifiqui la capçalera user:pass |
CONCURRENT_REQUESTS_PER_IP | De 2 a 4 | Limita els sòcols simultanis per IP de proxy per evitar l'error HTTP 429 |
AUTOTHROTTLE_ENABLED | True | Adapta dinàmicament el retard del rastreig segons la latència de l'objectiu |
Bones pràctiques per a rastrejos de gran volum amb Scrapy
- Carrega la llista de proxies de VinaProxy a
from_crawler()i assignarequest.meta['proxy'] = random.choice(self.proxies)dins deprocess_request() - Activa
RANDOMIZE_DOWNLOAD_DELAY = Truejuntament ambDOWNLOAD_DELAY = 1.0perquè els intervals de petició per IP mai semblin robòtics - En cas de reintent (
429o503), tria un proxy diferent del teu grup abans de tornar a posar la petició a la cua
Pas a pas
- 1
Formata el teu grup de proxies com a http://user:pass@ip:port
Enganxa la teva llista de VinaProxy al nostre Proxy Format Converter per obtenir cadenes d'URL.
- 2
Crea un ProxyPoolMiddleware a middlewares.py
Defineix
process_request(self, request, spider)per establirrequest.meta['proxy'] = random.choice(self.proxies). - 3
Registra'l amb prioritat 740 a settings.py
Afegeix
'myproject.middlewares.ProxyPoolMiddleware': 740sotaDOWNLOADER_MIDDLEWARESi defineixCONCURRENT_REQUESTS_PER_IP = 2. - 4
Fes una prova amb scrapy shell o scrapy crawl
Executa una petició de prova contra
https://vinaproxy.com/api/my-ipper verificar la rotació i l'autenticació.
Preguntes freqüents
Per què ha fallat el meu middleware de proxy personalitzat a Scrapy en posar-lo amb prioritat 800?
El HttpProxyMiddleware integrat de Scrapy s'executa amb prioritat 750. Si el teu middleware s'executa a 800 (després de 750), les credencials user:pass en línia mai es converteixen en una capçalera Proxy-Authorization. Configura sempre la prioritat del teu middleware per sota de 750 (com ara 740).
Scrapy manté connexions persistents obertes amb cada proxy?
Sí. El grup de connexions de Twisted manté connexions keep-alive persistents per a cada punt final de proxy.
Els proxies de VinaProxy tenen dades il·limitades per a tasques de Scrapy de milions de pàgines?
Sí. Tots els plans de Dedicated IPv4 i Static ISP inclouen amplada de banda mensual il·limitada.
Escala les teves aranyes de Scrapy amb grups d'IPs estàtiques il·limitades
Proxies Dedicated IPv4 i Static ISP a l'engròs a l'instant en 7 països.
Comprar proxies per a Scrapy