Hvernig á að setja upp og skipta um proxy-þjóna í Python Scrapy

Röð Scrapy proxy-millihugbúnaðar og stillingar á samtímatengingum

Þar sem HttpProxyMiddleware keyrir í röð 750 til að fjarlægja user:pass úr proxy-vefslóðinni og kóða Proxy-Authorization hausinn, verður sérsniðinn millihugbúnaður sem stillir request.meta['proxy'] að keyra á lægri tölu (t.d. 740):

Bestu starfsvenjur fyrir umfangsmikið Scrapy-skrið

• Hladdu inn VinaProxy proxy-listanum þínum í from_crawler() og úthlutaðu request.meta['proxy'] = random.choice(self.proxies) inni í process_request()
• Virkjaðu RANDOMIZE_DOWNLOAD_DELAY = True samhliða DOWNLOAD_DELAY = 1.0 svo tímabil milli beiðna fyrir hverja IP-tölu virðist aldrei vélrænt
• Veldu annan proxy-þjón úr safninu þínu við endurtekningu (429 eða 503) áður en beiðnin er sett aftur í biðröð

Skref fyrir skref

1. 1

   Forsníddu proxy-safnið þitt sem http://user:pass@ip:port

   Límdu VinaProxy-listann þinn inn í Proxy Format Converter hjá okkur til að fá vefslóðastrengi.

2. 2

   Búðu til ProxyPoolMiddleware í middlewares.py

   Skilgreindu process_request(self, request, spider) til að stilla request.meta['proxy'] = random.choice(self.proxies).

3. 3

   Skráðu með forgangi 740 í settings.py

   Bættu við 'myproject.middlewares.ProxyPoolMiddleware': 740 undir DOWNLOADER_MIDDLEWARES og stilltu CONCURRENT_REQUESTS_PER_IP = 2.

4. 4

   Prófaðu með scrapy shell eða scrapy crawl

   Keyrðu prófunarbeiðni á https://vinaproxy.com/api/my-ip til að sannreyna skiptingu og auðkenningu.

Algengar spurningar