Kako podesiti i rotirati proxyje u Python Scrapyju

Redoslijed Scrapy proxy middlewarea i postavke konkurentnosti

Budući da se HttpProxyMiddleware izvršava pod rednim brojem 750 kako bi uklonio user:pass iz proxy URL-a i enkodirao Proxy-Authorization zaglavlje, svaki prilagođeni middleware koji postavlja request.meta['proxy'] mora se izvršavati pod manjim brojem (npr. 740):

Najbolje prakse za Scrapy puzanja velikog obima

• Učitajte svoju VinaProxy proxy listu u from_crawler() i dodijelite request.meta['proxy'] = random.choice(self.proxies) unutar process_request()
• Omogućite RANDOMIZE_DOWNLOAD_DELAY = True uz DOWNLOAD_DELAY = 1.0 kako intervali zahtjeva po IP-u nikada ne bi izgledali robotski
• Pri ponovnom pokušaju (429 ili 503), odaberite drugi proxy iz svog poola prije ponovnog stavljanja zahtjeva u red čekanja

Korak po korak

1. 1

   Formatirajte svoj proxy pool kao http://user:pass@ip:port

   Zalijepite svoju VinaProxy listu u naš Proxy Format Converter kako biste dobili URL stringove.

2. 2

   Kreirajte ProxyPoolMiddleware u middlewares.py

   Definišite process_request(self, request, spider) da postavi request.meta['proxy'] = random.choice(self.proxies).

3. 3

   Registrujte na prioritetu 740 u settings.py

   Dodajte 'myproject.middlewares.ProxyPoolMiddleware': 740 pod DOWNLOADER_MIDDLEWARES i postavite CONCURRENT_REQUESTS_PER_IP = 2.

4. 4

   Testirajte pomoću scrapy shell ili scrapy crawl

   Pokrenite testni zahtjev prema https://vinaproxy.com/api/my-ip da potvrdite rotaciju i autentifikaciju.

Često postavljana pitanja