Како подесити и ротирати проксије у Python Scrapy

Редослед Scrapy прокси middleware-а и подешавања истовремености

Будући да се HttpProxyMiddleware извршава под редним бројем 750 како би уклонио user:pass из URL адресе проксија и кодирао Proxy-Authorization заглавље, сваки прилагођени middleware који поставља request.meta['proxy'] мора имати нижи број (нпр. 740):

Најбоље праксе за Scrapy пузање великог обима

• Учитајте своју VinaProxy листу проксија у from_crawler() и доделите request.meta['proxy'] = random.choice(self.proxies) унутар process_request()
• Омогућите RANDOMIZE_DOWNLOAD_DELAY = True уз DOWNLOAD_DELAY = 1.0 како интервали између захтева по IP адреси никада не би деловали роботски
• При поновном покушају (429 или 503), изаберите други прокси из свог базена пре поновног стављања захтева у ред чекања

Корак по корак

1. 1

   Форматирајте свој базен проксија као http://user:pass@ip:port

   Налепите своју VinaProxy листу у наш Proxy Format Converter да бисте добили URL ниске.

2. 2

   Креирајте ProxyPoolMiddleware у middlewares.py

   Дефинишите process_request(self, request, spider) да бисте поставили request.meta['proxy'] = random.choice(self.proxies).

3. 3

   Региструјте на приоритету 740 у settings.py

   Додајте 'myproject.middlewares.ProxyPoolMiddleware': 740 под DOWNLOADER_MIDDLEWARES и поставите CONCURRENT_REQUESTS_PER_IP = 2.

4. 4

   Тестирајте помоћу scrapy shell или scrapy crawl

   Покрените пробни захтев ка https://vinaproxy.com/api/my-ip да бисте проверили ротацију и аутентификацију.

Често постављана питања