Cum să configurezi și să rotești proxy-uri în Python Scrapy

Ordinea middleware-urilor de proxy și setările de concurență în Scrapy

Pentru că HttpProxyMiddleware rulează la ordinea 750 pentru a elimina user:pass din URL-ul proxy-ului și a codifica antetul Proxy-Authorization, orice middleware personalizat care setează request.meta['proxy'] trebuie să ruleze la un număr mai mic (de exemplu, 740):

Bune practici pentru crawling de mare volum în Scrapy

• Încarcă lista de proxy-uri VinaProxy în from_crawler() și atribuie request.meta['proxy'] = random.choice(self.proxies) în interiorul process_request()
• Activează RANDOMIZE_DOWNLOAD_DELAY = True alături de DOWNLOAD_DELAY = 1.0 astfel încât intervalele dintre cereri per IP să nu pară robotice
• La reîncercare (429 sau 503), alege un proxy diferit din pool înainte de a reintroduce cererea în coadă

Pas cu pas

1. 1

   Formatează pool-ul de proxy-uri ca http://user:pass@ip:port

   Lipește lista VinaProxy în Proxy Format Converter pentru a obține șirurile URL.

2. 2

   Creează un ProxyPoolMiddleware în middlewares.py

   Definește process_request(self, request, spider) pentru a seta request.meta['proxy'] = random.choice(self.proxies).

3. 3

   Înregistrează la prioritatea 740 în settings.py

   Adaugă 'myproject.middlewares.ProxyPoolMiddleware': 740 sub DOWNLOADER_MIDDLEWARES și setează CONCURRENT_REQUESTS_PER_IP = 2.

4. 4

   Testează cu scrapy shell sau scrapy crawl

   Rulează o cerere de test către https://vinaproxy.com/api/my-ip pentru a verifica rotația și autentificarea.

Întrebări frecvente