Bí a ṣe lè lo proxy nínú Python Requests (HTTP/HTTPS & ìkójọpọ̀ Session)
Updated:
Àkójọ ìwé-ìkàwé requests ti Python ń gba àwọn proxy VinaProxy tó ní ìfọwọ́sí nípasẹ̀ àtẹ-ọ̀rọ̀ proxies tí ń so àwọn ètò 'http' àti 'https' mọ́ http://user:pass@ip:port. Síso àtẹ-ọ̀rọ̀ yẹn mọ́ requests.Session() tí ń wà títí ń tún àwọn socket TCP abẹ́lẹ̀ lò fún web scraping tó yára tí kò sì gba agbára púpọ̀.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP₫40,000
- 5+ IPs₫35,000
- 10+ IPs₫25,000
- 20+ IPs₫25,000
- 50+ IPs₫25,000
- 100+ IPs₫25,000
- 200+ IPs₫25,000
- 500+ IPs₫25,000
- 1000+ IPs₫22,000
- 2000+ IPs₫20,000
- 1 IP₫40,000
- 5+ IPs₫35,000
- 10+ IPs₫25,000
- 20+ IPs₫25,000
- 50+ IPs₫25,000
- 100+ IPs₫25,000
- 200+ IPs₫25,000
- 500+ IPs₫25,000
- 1000+ IPs₫22,000
- 2000+ IPs₫20,000
Ṣíṣètò àtẹ-ọ̀rọ̀ proxies & àtúnlò Sessions
Pípè requests.get() lórí URL kọ̀ọ̀kan ń dá ìsopọ̀ TCP tuntun àti TLS handshake tuntun sílẹ̀ nígbà gbogbo. Síso proxy rẹ mọ́ session = requests.Session() ń jẹ́ kí ojú-ọ̀nà proxy wà ní ṣíṣí kọjá àwọn ìbéèrè lẹ́sẹẹsẹ.
| Pàrámítà Requests | Sintasi Tí A Dábàá | Ète Imọ̀-ẹrọ |
|---|---|---|
Kókó 'http' | 'http://user:pass@ip:port' | Ń darí àwọn ìbéèrè HTTP lásán gba inú proxy |
Kókó 'https' | 'http://user:pass@ip:port' | Ń lo ètò http:// kí urllib3 lè ṣí ojú-ọ̀nà HTTP CONNECT fún TLS |
Tuple timeout | timeout=(5, 15) | Àkókò ìsopọ̀ 5s àti àkókò kíkà 15s ń dènà dídúró ti àwọn worker thread |
| Yíyípo àkójọ | itertools.cycle(proxy_list) | Ń yípo déédéé lórí àkójọ dedicated static IP rẹ |
Yíyẹra fún àwọn àṣìṣe urllib3 & ProxyError tí ó wọ́pọ̀
- Máa lo
http://nígbà gbogbo (kì í ṣehttps://) gẹ́gẹ́ bí ètò URL proxy fún àwọn kókó àtẹ-ọ̀rọ̀'http'àti'https'méjèèjì, àyàfi tí ibùdó proxy rẹ bá béèrè fún TLS-over-TLS ní pàtó - Ṣe URL-encode fún àwọn àmì pàtàkì nínú ọ̀rọ̀-ìpamọ́ nípa lílo
urllib.parse.quote(password, safe='') - Àṣìṣe
407 Proxy Authentication Requiredtúmọ̀ sí pé orúkọ olùlò tàbí ọ̀rọ̀-ìpamọ́ tó wà nínú ọ̀rọ̀ URL rẹ kò bá àwọn ẹ̀rí ìwọlé dashboard rẹ mu - Ń ṣiṣẹ́ lọ́nà kan náà pẹ̀lú
httpx.Client(proxy='http://user:pass@ip:port')àtiaiohttpsession.get(url, proxy=...)
Ìgbésẹ̀ ní ìgbésẹ̀
- 1
Yí ip:port:user:pass padà sí sintasi URL
Lo Proxy Format Converter wa láti sọ àkójọ VinaProxy rẹ di àwọn ọ̀rọ̀
http://user:pass@ip:port. - 2
Pinnu àtẹ-ọ̀rọ̀ proxies náà
Fi
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}sínú àkọsílẹ̀ Python rẹ. - 3
So mọ́ àpẹẹrẹ requests.Session()
Bẹ̀rẹ̀
s = requests.Session()kí o sì pes.proxies.update(proxies)fún ìkójọpọ̀Keep-Alivetí ń wà títí. - 4
Fìdí IP ìjáde múlẹ̀ pẹ̀lú ìbéèrè àdánwò
Ṣiṣẹ́
print(s.get('https://vinaproxy.com/api/my-ip', timeout=10).json())láti fìdí IP proxy tó ń ṣiṣẹ́ múlẹ̀.
Àwọn ìbéèrè tí a ń béèrè lemọ́lemọ́
Èé ṣe tí kókó 'https' fi ń lo 'http://user:pass@ip:port'?
Àsomọ́-iwaju http:// ń sọ fún urllib3 bí a ṣe ń sopọ̀ mọ́ ẹ̀rọ proxy fúnra rẹ̀ (nípa lílo HTTP CONNECT tó ṣe déédéé), nígbà tí ìrìn-àjò data rẹ láti ìbẹ̀rẹ̀ dé òpin sí ojú-òpó wẹ́ẹ̀bù https:// tó jẹ́ àfojúsùn wà ní dídáàbòbò pátápátá pẹ̀lú TLS.
Bí a ṣe lè yí àwọn static proxy 25 po kọjá àwọn ìbéèrè nínú Python?
Kó àwọn URL proxy 25 rẹ sínú pool = itertools.cycle(PROXIES) kí o sì fi proxies={'http': p, 'https': p} ránṣẹ́ fún ìbéèrè kọ̀ọ̀kan pẹ̀lú ìwọ̀ntúnwọ̀nsì ìwọ̀n ìbéèrè fún IP kọ̀ọ̀kan.
Ǹjẹ́ VinaProxy ń díwọ̀n bandwidth lórí àwọn àkọsílẹ̀ scraping Python bí?
Rárá. Gbogbo àwọn ètò Dedicated IPv4 àti Static ISP ní ìrìn-àjò data oṣooṣù tí kò ní òpin nínú.
Kọ́ àkójọ scraping Python tí kò ní ìwọ̀n
Àwọn proxy Dedicated IPv4 àti Static ISP lẹ́sẹ̀kẹsẹ̀ kọjá àwọn orílẹ̀-èdè 7.
Ra Àwọn Proxy Python