Kako postaviti i rotirati proxyje u Python Scrapyju

Redoslijed Scrapy proxy middlewarea i postavke istovremenosti

Budući da se HttpProxyMiddleware izvodi s redoslijedom 750 kako bi uklonio user:pass iz proxy URL-a i kodirao zaglavlje Proxy-Authorization, svaki prilagođeni middleware koji postavlja request.meta['proxy'] mora se izvoditi pod manjim brojem (npr. 740):

Najbolje prakse za opsežna Scrapy pretraživanja

• Učitajte svoj VinaProxy popis proxyja u from_crawler() i dodijelite request.meta['proxy'] = random.choice(self.proxies) unutar process_request()
• Omogućite RANDOMIZE_DOWNLOAD_DELAY = True uz DOWNLOAD_DELAY = 1.0 kako intervali zahtjeva po IP-u nikada ne bi izgledali robotski
• Prilikom ponovnog pokušaja (429 ili 503), odaberite drugi proxy iz svog poola prije ponovnog stavljanja zahtjeva u red čekanja

Korak po korak

1. 1

   Formatirajte svoj proxy pool kao http://user:pass@ip:port

   Zalijepite svoj VinaProxy popis u naš Proxy Format Converter kako biste dobili URL nizove.

2. 2

   Stvorite ProxyPoolMiddleware u middlewares.py

   Definirajte process_request(self, request, spider) za postavljanje request.meta['proxy'] = random.choice(self.proxies).

3. 3

   Registrirajte s prioritetom 740 u settings.py

   Dodajte 'myproject.middlewares.ProxyPoolMiddleware': 740 pod DOWNLOADER_MIDDLEWARES i postavite CONCURRENT_REQUESTS_PER_IP = 2.

4. 4

   Testirajte pomoću scrapy shell ili scrapy crawl

   Pokrenite testni zahtjev prema https://vinaproxy.com/api/my-ip kako biste potvrdili rotaciju i autentifikaciju.

Često postavljana pitanja