Sådan opsætter og roterer du proxyer i Python Scrapy

Rækkefølge for Scrapy-proxymiddleware og indstillinger for samtidighed

Da HttpProxyMiddleware kører med rækkefølgen 750 for at fjerne user:pass fra proxy-URL'en og kode Proxy-Authorization-headeren, skal enhver brugerdefineret middleware, der angiver request.meta['proxy'], køre med et lavere tal (f.eks. 740):

Bedste praksis for Scrapy-crawling i store mængder

• Indlæs din VinaProxy-proxyliste i from_crawler(), og tildel request.meta['proxy'] = random.choice(self.proxies) inde i process_request()
• Aktivér RANDOMIZE_DOWNLOAD_DELAY = True sammen med DOWNLOAD_DELAY = 1.0, så anmodningsintervaller pr. IP aldrig virker robotagtige
• Ved genforsøg (429 eller 503) skal du vælge en anden proxy fra din pulje, før anmodningen sættes i kø igen

Trin for trin

1. 1

   Formatér din proxypulje som http://user:pass@ip:port

   Indsæt din VinaProxy-liste i vores Proxy Format Converter for at få URL-strenge.

2. 2

   Opret en ProxyPoolMiddleware i middlewares.py

   Definér process_request(self, request, spider) for at angive request.meta['proxy'] = random.choice(self.proxies).

3. 3

   Registrer med prioritet 740 i settings.py

   Tilføj 'myproject.middlewares.ProxyPoolMiddleware': 740 under DOWNLOADER_MIDDLEWARES, og indstil CONCURRENT_REQUESTS_PER_IP = 2.

4. 4

   Test med scrapy shell eller scrapy crawl

   Kør en testanmodning mod https://vinaproxy.com/api/my-ip for at bekræfte rotation og godkendelse.

Ofte stillede spørgsmål