Slik setter du opp og roterer proxyer i Python Scrapy

Rekkefølge for Scrapy-proxy-middleware og innstillinger for samtidighet

Fordi HttpProxyMiddleware kjører med rekkefølge 750 for å fjerne user:pass fra proxy-URL-en og kode Proxy-Authorization-headeren, må enhver tilpasset middleware som setter request.meta['proxy'], kjøre med et lavere tall (f.eks. 740):

Beste praksis for storskala Scrapy-crawling

• Last inn listen din over VinaProxy-proxyer i from_crawler() og tildel request.meta['proxy'] = random.choice(self.proxies) inne i process_request()
• Aktiver RANDOMIZE_DOWNLOAD_DELAY = True sammen med DOWNLOAD_DELAY = 1.0, slik at forespørselsintervallene per IP aldri virker robotaktige
• Ved nytt forsøk (429 eller 503), velg en annen proxy fra poolen din før forespørselen legges i køen igjen

Trinn for trinn

1. 1

   Formater proxy-poolen din som http://user:pass@ip:port

   Lim inn VinaProxy-listen din i vår Proxy Format Converter for å få URL-strenger.

2. 2

   Opprett en ProxyPoolMiddleware i middlewares.py

   Definer process_request(self, request, spider) for å sette request.meta['proxy'] = random.choice(self.proxies).

3. 3

   Registrer med prioritet 740 i settings.py

   Legg til 'myproject.middlewares.ProxyPoolMiddleware': 740 under DOWNLOADER_MIDDLEWARES og sett CONCURRENT_REQUESTS_PER_IP = 2.

4. 4

   Test med scrapy shell eller scrapy crawl

   Kjør en testforespørsel mot https://vinaproxy.com/api/my-ip for å bekrefte rotasjon og autentisering.

Ofte stilte spørsmål