Fomba fametrahana sy fampiodinana proxy ao amin'ny Python Scrapy
Updated:
Ny motera Twisted tsy miara-miandry an'ny Scrapy dia ahitana HttpProxyMiddleware natsangana mialoha (amin'ny laharampahamehana 750) izay mamakafaka ireo laharana http://user:pass@ip:port omena ny request.meta['proxy']. Ny fanoratana Downloader Middleware manokana misy andalana 10 amin'ny laharampahamehana 740 dia ahafahan'ny spiders anao mihodina hoazy amin'ireo dobo IP miantona VinaProxy tsy misy fetra.
request.meta['proxy'] = 'http://user:pass@ip:port'- IP 1₫ 40,000
- IP 5+₫ 35,000
- IP 10+₫ 25,000
- IP 20+₫ 25,000
- IP 50+₫ 25,000
- IP 100+₫ 25,000
- IP 200+₫ 25,000
- IP 500+₫ 25,000
- IP 1000+₫ 22,000
- IP 2000+₫ 20,000
- IP 1₫ 40,000
- IP 5+₫ 35,000
- IP 10+₫ 25,000
- IP 20+₫ 25,000
- IP 50+₫ 25,000
- IP 100+₫ 25,000
- IP 200+₫ 25,000
- IP 500+₫ 25,000
- IP 1000+₫ 22,000
- IP 2000+₫ 20,000
Filaharana sy fandrindrana fifandraisana miaraka amin'ny Scrapy proxy middleware
Satria mandeha amin'ny laharana 750 ny HttpProxyMiddleware mba hanalana ny user:pass amin'ny URL-n'ny proxy sy hanodinana ny lohateny Proxy-Authorization, izay middleware manokana mamaritra ny request.meta['proxy'] dia tsy maintsy mandeha amin'ny isa ambany kokoa (ohatra, 740):
| Fikirana Scrapy | Sanda aroso | Tanjona |
|---|---|---|
request.meta['proxy'] | 'http://user:pass@ip:port' | Mampita ny fangatahana amin'ny alalan'ny proxy VinaProxy voatondro |
| Laharampahamehana Middleware | 740 (alohan'ny 750) | Manome antoka fa manodina ny lohateny user:pass ny HttpProxyMiddleware |
CONCURRENT_REQUESTS_PER_IP | 2 hatramin'ny 4 | Mametra ny fifandraisana miaraka isaky ny IP proxy mba hisorohana ny HTTP 429 |
AUTOTHROTTLE_ENABLED | True | Mampifanaraka hoazy ny fiatoana eo anelanelan'ny fangatahana araka ny fahatarana tratra |
Fomba fanao tsara indrindra ho an'ny fikarohana Scrapy lehibe
- Ampidiro ao amin'ny
from_crawler()ny lisitry ny proxy VinaProxy anao ary apetraho nyrequest.meta['proxy'] = random.choice(self.proxies)ao anatin'nyprocess_request() - Alefaso ny
RANDOMIZE_DOWNLOAD_DELAY = Truemiaraka amin'nyDOWNLOAD_DELAY = 1.0mba tsy ho toy ny ataon'ny milina ny elanelam-potoanan'ny fangatahana isaky ny IP - Rehefa manandrana indray (
429na503), mifidiana proxy hafa avy ao amin'ny dobony alohan'ny hamerenana ny fangatahana ao anaty filaharana
Tsikelikely
- 1
Lamino ho http://user:pass@ip:port ny dobo proxinao
Apetaho ao amin'ny Proxy Format Converter anay ny lisitra VinaProxy anao mba hahazoana soratra URL.
- 2
Mamorona ProxyPoolMiddleware ao amin'ny middlewares.py
Farito ny
process_request(self, request, spider)mba hametrahanarequest.meta['proxy'] = random.choice(self.proxies). - 3
Soraty amin'ny laharampahamehana 740 ao amin'ny settings.py
Ampio ny
'myproject.middlewares.ProxyPoolMiddleware': 740ao ambanin'nyDOWNLOADER_MIDDLEWARESary apetraho nyCONCURRENT_REQUESTS_PER_IP = 2. - 4
Andramo amin'ny alalan'ny scrapy shell na scrapy crawl
Mandefasa fangatahana andrana mankany amin'ny
https://vinaproxy.com/api/my-ipmba hanamarinana ny fihodinana sy ny fahazoan-dalana.
Fanontaniana matetika apetraka
Nahoana no tsy nandeha ny Scrapy proxy middleware manokako rehefa napetraka tamin'ny laharampahamehana 800?
Mandeha amin'ny laharampahamehana 750 ny HttpProxyMiddleware efa voaorina ao amin'ny Scrapy. Raha mandeha amin'ny 800 (aorian'ny 750) ny middleware-nao, dia tsy ho voavadika ho lohateny Proxy-Authorization mihitsy ireo fidirana user:pass. Apetraho lalandava ambanin'ny 750 (toy ny 740) ny laharampahamehan'ny middleware-nao.
Mitazona fifandraisana maharitra misokatra amin'ny proxy tsirairay ve ny Scrapy?
Eny. Mitazona fifandraisana maharitra keep-alive isaky ny fiafaran'ny proxy ny dobo fifandraisan'ny Twisted.
Tsy misy fetra ve ny proxy VinaProxy ho an'ny asa Scrapy misy pejy an-tapitrisany?
Eny. Ny tolotra Dedicated IPv4 sy Static ISP rehetra dia ahitana bandwidth isam-bolana tsy voafetra.
Ampitomboy ny spiders Scrapy anao amin'ny alalan'ny dobo IP miantona tsy misy fetra
Proxy Dedicated IPv4 sy Static ISP betsaka azo avy hatrany manerana firenena 7.
Mividiana Proxy Scrapy