Com utilitzar un proxy a Python Requests (HTTP/HTTPS i pooling de Session)
Updated:
La biblioteca requests de Python admet proxys VinaProxy autenticats mitjançant un diccionari proxies que assigna tant l'esquema 'http' com 'https' a http://user:pass@ip:port. Vincular aquest diccionari a una instància persistent de requests.Session() reutilitza els sòcols TCP subjacents per a un web scraping ràpid i de baix consum.
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}- 1 IP40.000 ₫
- 5+ IPs35.000 ₫
- 10+ IPs25.000 ₫
- 20+ IPs25.000 ₫
- 50+ IPs25.000 ₫
- 100+ IPs25.000 ₫
- 200+ IPs25.000 ₫
- 500+ IPs25.000 ₫
- 1000+ IPs22.000 ₫
- 2000+ IPs20.000 ₫
- 1 IP40.000 ₫
- 5+ IPs35.000 ₫
- 10+ IPs25.000 ₫
- 20+ IPs25.000 ₫
- 50+ IPs25.000 ₫
- 100+ IPs25.000 ₫
- 200+ IPs25.000 ₫
- 500+ IPs25.000 ₫
- 1000+ IPs22.000 ₫
- 2000+ IPs20.000 ₫
Format del diccionari proxies i reutilització de Sessions
Cridar requests.get() per a cada URL crea una connexió TCP i una negociació TLS noves cada vegada. Vincular el teu proxy a session = requests.Session() manté el túnel del proxy obert al llarg de sol·licituds consecutives.
| Paràmetre de Requests | Sintaxi recomanada | Finalitat tècnica |
|---|---|---|
Clau 'http' | 'http://user:pass@ip:port' | Encamina sol·licituds HTTP estàndard a través del proxy |
Clau 'https' | 'http://user:pass@ip:port' | Utilitza l'esquema http:// perquè urllib3 creï un túnel HTTP CONNECT per a TLS |
Tupla de timeout | timeout=(5, 15) | Temps d'espera de 5 s de connexió i 15 s de lectura per evitar fils de treball blocats |
| Rotació del pool | itertools.cycle(proxy_list) | Rota de manera uniforme entre el teu pool dedicat d'IPs estàtiques |
Com evitar errors habituals amb urllib3 i ProxyError
- Utilitza sempre
http://(nohttps://) com a esquema d'URL del proxy per a les claus de diccionari'http'i'https', tret que el port del teu proxy requereixi explícitament TLS-over-TLS - Codifica en URL els caràcters especials de les contrasenyes amb
urllib.parse.quote(password, safe='') - Un error
407 Proxy Authentication Requiredindica que el nom d'usuari o la contrasenya a la cadena d'URL no coincideixen amb les credencials del tauler de control - Funciona de manera idèntica amb
httpx.Client(proxy='http://user:pass@ip:port')i aaiohttpambsession.get(url, proxy=...)
Pas a pas
- 1
Converteix ip:port:user:pass a sintaxi d'URL
Utilitza el nostre Proxy Format Converter per transformar la teva llista de VinaProxy en cadenes
http://user:pass@ip:port. - 2
Defineix el diccionari proxies
Defineix
proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'}al teu script de Python. - 3
Associa'l a una instància de requests.Session()
Inicialitza
s = requests.Session()i cridas.proxies.update(proxies)per mantenir un poolKeep-Alivepersistent. - 4
Verifica la IP de sortida amb una sol·licitud de prova
Executa
print(s.get('https://vinaproxy.com/api/my-ip', timeout=10).json())per confirmar la IP activa del proxy.
Preguntes freqüents
Per què la clau 'https' utilitza 'http://user:pass@ip:port'?
El prefix http:// indica a urllib3 com connectar-se al mateix servidor proxy (mitjançant HTTP CONNECT estàndard), mentre que el teu trànsit d'extrem a extrem cap al lloc web https:// de destinació roman totalment xifrat amb TLS.
Com puc rotar 25 proxys estàtics entre sol·licituds a Python?
Carrega les 25 URLs de proxy a pool = itertools.cycle(PROXIES) i passa proxies={'http': p, 'https': p} per sol·licitud amb un límit de freqüència prudent per IP.
Mesura VinaProxy l'ample de banda en els scripts de scraping de Python?
No. Tots els plans Dedicated IPv4 i Static ISP inclouen trànsit mensual il·limitat.
Crea un pool de scraping de Python sense límits
Proxys Dedicated IPv4 i Static ISP instantanis a 7 països.
Comprar proxys per a Python