Како да поставите и ротирате проксија во Python Scrapy

Редослед на Scrapy прокси middleware и поставки за паралелност

Бидејќи HttpProxyMiddleware се извршува со редослед 750 за да го отстрани user:pass од URL-адресата на проксито и да го енкодира заглавието Proxy-Authorization, секој прилагоден middleware што поставува request.meta['proxy'] мора да се извршува со помал број (на пр. 740):

Најдобри практики за индексирање во голем обем со Scrapy

• Вчитајте ја вашата листа на VinaProxy проксија во from_crawler() и доделете request.meta['proxy'] = random.choice(self.proxies) во рамките на process_request()
• Овозможете RANDOMIZE_DOWNLOAD_DELAY = True заедно со DOWNLOAD_DELAY = 1.0 за интервалите на барања по IP никогаш да не изгледаат роботски
• При повторен обид (429 или 503), изберете друго прокси од вашиот базен пред повторно да го ставите барањето во ред

Чекор по чекор

1. 1

   Форматирајте го вашиот базен со проксија како http://user:pass@ip:port

   Вметнете ја вашата VinaProxy листа во нашиот Proxy Format Converter за да добиете URL стрингови.

2. 2

   Креирајте ProxyPoolMiddleware во middlewares.py

   Дефинирајте process_request(self, request, spider) за да поставите request.meta['proxy'] = random.choice(self.proxies).

3. 3

   Регистрирајте со приоритет 740 во settings.py

   Додајте 'myproject.middlewares.ProxyPoolMiddleware': 740 под DOWNLOADER_MIDDLEWARES и поставете CONCURRENT_REQUESTS_PER_IP = 2.

4. 4

   Тестирајте со scrapy shell или scrapy crawl

   Испратете тестно барање до https://vinaproxy.com/api/my-ip за да ги потврдите ротацијата и автентикацијата.

Често поставувани прашања