Com rotar una llista de proxys estàtics a Python
Updated:
Per rotar proxys a Python necessites tres coses: un fitxer de proxys en format ip:port:user:pass, una funció que converteixi cada línia en un URL http://user:pass@ip:port i un selector que triï un proxy per a cada petició, ja sigui round-robin, aleatori o vinculat a una sessió. No necessites cap servei de proxys rotatius per a això. Amb un conjunt d'IP estàtiques dedicades, el teu codi decideix quina IP envia cada petició, amb quina freqüència canviar i quan apartar una IP que falli. Aquesta guia explica com carregar la llista, tres estratègies de rotació, la gestió d'errors i la concurrència, amb codi d'exemple per a la biblioteca requests.
Rotació d'IP estàtiques enfront d'un servei de proxys rotatius
Un servei de proxys rotatius et proporciona una única passarel·la i canvia la IP de sortida per a cada petició o segons un temporitzador. No saps quina serà la següent IP ni pots conservar-ne una que t'agradi. Això és adequat per al rastreig de molt alt volum, però fa que sigui difícil saber exactament quina IP ha enviat cada petició. Per a la comparativa completa, llegeix proxys estàtics enfront de rotatius.
Quan rotes la teva pròpia llista d'IP estàtiques, cada decisió depèn del teu codi. Cada IP és exclusivament teva, de manera que la seva reputació depèn de com la facis servir. Pots registrar la IP de cada petició, apartar una IP quan un lloc web comenci a retornar errors i mantenir una IP per a una sessió iniciada. El contrapunt és que has d'escriure tu mateix la lògica de selecció, reintents i limitació de ritme. La resta d'aquesta guia conté el codi mínim per fer-ho correctament.
Pas 1: prepara la llista de proxys
Els proxys s'entreguen en format ip:port:user:pass, un per línia. Guarda'ls a proxies.txt. La biblioteca requests espera URLs, així que fes la conversió un cop carreguis el fitxer. Si una contrasenya conté caràcters com ara @, : o #, codifica-la en format URL; altrament, requests processarà malament l'URL i obtindràs un error 407 Proxy Authentication Required. També pots convertir una llista sencera amb el convertidor de format de proxy.
from urllib.parse import quotedef to_url(line):ip, port, user, pw = line.strip().split(':', 3)return 'http://' + quote(user, safe='') + ':' + quote(pw, safe='') + '@' + ip + ':' + portPROXIES = [to_url(l) for l in open('proxies.txt') if l.strip()]- Utilitza l'esquema
http://tant per a la clauhttpcom per a la clauhttpsdel diccionariproxies. Per a llocs HTTPS, requests obre un túnel CONNECT a través del proxy HTTP, de manera que el proxy mateix no necessita utilitzar TLS.
Pas 2: tres maneres de rotar
No hi ha una única estratègia que s'adapti a totes les tasques. Les pàgines públiques sense inici de sessió es poden distribuir uniformement entre les IP, mentre que qualsevol acció amb sessió, carretó o autenticació hauria de mantenir una mateixa IP durant tota la sessió.
- Exemple de round-robin:
for url in urls: p = next(pool); r = requests.get(url, proxies={'http': p, 'https': p}, timeout=(5, 20)) - Exemple d'IP fixada: assigna un nom de compte o un domini a
keyi la mateixa clau s'associarà sempre a la mateixa IP, fins i tot després de reiniciar. Fes servirzlib.crc32en lloc dehash(), perquè Python aleatoritzahash()entre execucions.
| Estratègia | Codi principal | Quan utilitzar-la |
|---|---|---|
| Round-robin | pool = itertools.cycle(PROXIES) i després next(pool) | Rastreig de pàgines públiques i distribució uniforme de la càrrega |
| Aleatòria | random.choice(PROXIES) | L'ordre de les peticions no importa i vols evitar un ritme fix |
| Fixada per clau | PROXIES[zlib.crc32(key.encode()) % len(PROXIES)] | Un compte, sessió o domini ha d'utilitzar sempre la mateixa IP |
Pas 3: una Session per proxy
Cridar requests.get() per a cada URL obre una connexió nova i fa una negociació TLS cada vegada. Per a un grup de peticions a la mateixa IP, crea un requests.Session() per proxy i reutilitza'l. Una sessió manté les connexions actives i emmagatzema cookies, la qual cosa combina de forma natural amb la rotació fixada: cada sessió és una IP fixa més les seves pròpies cookies.
Un patró senzill és un diccionari sessions = {}, seguit de s = sessions.setdefault(p, requests.Session()) i s.proxies = {'http': p, 'https': p}. Evita compartir una única sessió mentre canvies de proxy entre peticions, perquè les cookies obtingudes amb una IP s'enviarien des d'una altra, i el lloc veuria una sessió saltant d'una IP a una altra. Trobaràs més detalls de configuració a la pàgina de configuració de proxy amb Python requests.
Pas 4: reintenta amb una altra IP i aparta les que fallin
En una llista d'unes quantes desenes d'IP, de vegades alguna esgotarà el temps d'espera o rebrà un 403 o 429 d'un lloc web determinat. Un bon codi no atura tota l'execució; transfereix la petició a una altra IP i deixa reposar la que ha fallat. La manera més senzilla és un diccionari cooldown = {} que contingui l'hora en què es podrà tornar a utilitzar cada IP.
- Captura els errors de connexió amb
except (requests.exceptions.ProxyError, requests.exceptions.ConnectTimeout, requests.exceptions.ReadTimeout), registra la fallada i prova amb la següent IP. - Amb un 429 o 403, defineix
cooldown[p] = time.time() + 300per fer reposar la IP durant cinc minuts, i omet qualsevol proxy oncooldown.get(p, 0) > time.time(). - Limita els intents, per exemple a tres IP per URL, perquè una pàgina amb errors no esgoti tota la llista.
- Registra l'URL, la IP, el codi d'estat i el temps de resposta de cada petició. Quan alguna cosa falli, el registre t'indicarà si el problema és d'una IP, de tot el conjunt o del lloc web de destinació.
- Per a controls d'estat, equilibri de càrrega i registres a més gran escala, consulta la gestió de conjunts de proxys.
Pas 5: executa de forma concurrent sense sobrecarregar cap IP
Amb concurrent.futures.ThreadPoolExecutor, ajusta el nombre de fils al nombre d'IP en lloc d'augmentar-lo sense control. Una regla inicial segura és no fer servir més fils que IP, amb cada IP gestionant una petició alhora. Una queue.Queue de proxys inactius ho resol de manera neta: un fil agafa un proxy, envia la petició, espera breument i el torna a la cua.
Un petit retard aleatori entre peticions a la mateixa IP, com ara time.sleep(random.uniform(1, 3)), fa que el patró sigui menys mecànic i és més respectuós amb el servidor de destinació. El ritme adequat depèn del lloc web; límits de freqüència en web scraping explica com estimar les peticions per IP i quantes IP necessita una càrrega de treball.
Llista de verificació abans d'una execució real
- Comprova primer tota la llista amb el verificador de proxys o amb una crida de prova a un punt final d'eco d'IP com ara
requests.get('https://httpbin.org/ip', proxies=..., timeout=10). - Defineix sempre un
timeout; sense aquest, una IP bloquejada pot aturar un fil per sempre. - Envia un
User-Agentcoherent i mantén-lo constant durant tota la sessió. - Respecta el
robots.txti les condicions del lloc web, i recopila només dades públiques que tinguis permís per utilitzar. - Mantingues les credencials del proxy fora del codi que publiquis a Git; llegeix-les des d'un fitxer o des de variables d'entorn.
- Quan s'acabi el període de lloguer, renova des del tauler de control per conservar les mateixes IP, de manera que la teva llista i els registres per IP continuïn sent vàlids.
Preguntes freqüents
Pot la rotació d'una llista estàtica substituir un proxy residencial rotatiu?
Per a pàgines públiques a un ritme moderat acostuma a ser suficient, ja que la càrrega es distribueix entre diverses IP dedicades. Si un lloc web bloqueja tots els rangs de centres de dades o necessites milers d'IP diferents, una petita llista autorotada no serà un substitut viable. VinaProxy no ven actualment proxys residencials rotatius.
Hauria de canviar d'IP a cada petició o segons un temporitzador?
Les pàgines públiques sense inici de sessió poden canviar a cada petició. Qualsevol acció amb cookies, carretó o inici de sessió hauria de mantenir una mateixa IP durant tota la sessió, ja que un canvi d'IP a mitja sessió resulta sospitós.
Per què el proxy funciona al meu navegador però retorna 407 a Python?
Normalment, la contrasenya conté caràcters especials que no s'han codificat com a URL, o l'usuari i la contrasenya s'han separat en l'ordre incorrecte. Fes servir quote(pw, safe='') com al codi d'exemple.
Això funciona amb httpx o aiohttp?
La lògica de càrrega i de selecció és exactament la mateixa. Només canvia la manera de passar el proxy: httpx el rep quan crees el client, mentre que aiohttp rep un argument proxy a cada petició.
Els proxys admeten SOCKS5 per a requests?
Els proxys de VinaProxy utilitzen HTTP/HTTPS amb autenticació per usuari i contrasenya. Utilitza l'esquema http:// que es mostra a dalt; no cal cap paquet de SOCKS.
Crea el teu propi conjunt d'IP dedicades
Proxys privats IPv4 a 7 països. Cada IP s'assigna a un sol client, es manté fixa durant el lloguer, disposa d'amplada de banda il·limitada i s'entrega com a ip:port:user:pass.
Consulta els preus