Så konfigurerar och roterar du proxyer i Python Scrapy

Ordning för Scrapy-proxymiddleware och samtidighetsinställningar

Eftersom HttpProxyMiddleware körs med ordningsnummer 750 för att ta bort user:pass från proxy-URL:en och koda headern Proxy-Authorization, måste all anpassad middleware som ställer in request.meta['proxy'] köras med ett lägre nummer (t.ex. 740):

Bästa praxis för storskalig webbskrapning med Scrapy

• Läs in din VinaProxy-proxylista i from_crawler() och tilldela request.meta['proxy'] = random.choice(self.proxies) inuti process_request()
• Aktivera RANDOMIZE_DOWNLOAD_DELAY = True tillsammans med DOWNLOAD_DELAY = 1.0 så att förfrågningsintervallen per IP-adress aldrig framstår som robotaktiga
• Vid nytt försök (429 eller 503), välj en annan proxy från din pool innan förfrågan köas om

Steg för steg

1. 1

   Formatera din proxypool som http://user:pass@ip:port

   Klistra in din VinaProxy-lista i vår Proxy Format Converter för att få URL-strängar.

2. 2

   Skapa en ProxyPoolMiddleware i middlewares.py

   Definiera process_request(self, request, spider) för att sätta request.meta['proxy'] = random.choice(self.proxies).

3. 3

   Registrera med prioritet 740 i settings.py

   Lägg till 'myproject.middlewares.ProxyPoolMiddleware': 740 under DOWNLOADER_MIDDLEWARES och ställ in CONCURRENT_REQUESTS_PER_IP = 2.

4. 4

   Testa med scrapy shell eller scrapy crawl

   Kör en testförfrågan mot https://vinaproxy.com/api/my-ip för att verifiera rotation och autentisering.

Vanliga frågor