Kako nastaviti in rotirati proxyje v Python Scrapy

Vrstni red Scrapy proxy middleware in nastavitve sočasnosti

Ker se HttpProxyMiddleware izvaja z zaporedno številko 750, da odstrani user:pass iz URL-ja proxyja in zakodira glavo Proxy-Authorization, se mora vsaka prilagojena vmesna programska oprema, ki nastavlja request.meta['proxy'], izvajati z nižjo številko (npr. 740):

Najboljše prakse za obsežno pajkanje s Scrapyjem

• Naložite seznam proxyjev VinaProxy v from_crawler() in dodelite request.meta['proxy'] = random.choice(self.proxies) znotraj process_request()
• Omogočite RANDOMIZE_DOWNLOAD_DELAY = True skupaj z DOWNLOAD_DELAY = 1.0, da intervali zahtev na posamezen IP nikoli ne delujejo robotsko
• Ob ponovnem poskusu (429 ali 503) izberite drug proxy iz svojega nabora, preden zahtevo znova uvrstite v vrsto

Navodila po korakih

1. 1

   Formatirajte svoj nabor proxyjev kot http://user:pass@ip:port

   Prilepite svoj seznam VinaProxy v naš Proxy Format Converter, da pridobite nize URL-jev.

2. 2

   Ustvarite ProxyPoolMiddleware v middlewares.py

   Definirajte process_request(self, request, spider), da nastavite request.meta['proxy'] = random.choice(self.proxies).

3. 3

   Registrirajte s prioriteto 740 v settings.py

   Dodajte 'myproject.middlewares.ProxyPoolMiddleware': 740 pod DOWNLOADER_MIDDLEWARES in nastavite CONCURRENT_REQUESTS_PER_IP = 2.

4. 4

   Preizkusite s scrapy shell ali scrapy crawl

   Zaženite poskusno zahtevo na https://vinaproxy.com/api/my-ip, da preverite rotacijo in avtentikacijo.

Pogosta vprašanja