Com rotar una llista de proxys estàtics a Python

Updated:

Per rotar proxys a Python necessites tres coses: un fitxer de proxys en format ip:port:user:pass, una funció que converteixi cada línia en un URL http://user:pass@ip:port i un selector que triï un proxy per a cada petició, ja sigui round-robin, aleatori o vinculat a una sessió. No necessites cap servei de proxys rotatius per a això. Amb un conjunt d'IP estàtiques dedicades, el teu codi decideix quina IP envia cada petició, amb quina freqüència canviar i quan apartar una IP que falli. Aquesta guia explica com carregar la llista, tres estratègies de rotació, la gestió d'errors i la concurrència, amb codi d'exemple per a la biblioteca requests.

Crea el teu propi conjunt d'IP dedicades

Rotació d'IP estàtiques enfront d'un servei de proxys rotatius

Un servei de proxys rotatius et proporciona una única passarel·la i canvia la IP de sortida per a cada petició o segons un temporitzador. No saps quina serà la següent IP ni pots conservar-ne una que t'agradi. Això és adequat per al rastreig de molt alt volum, però fa que sigui difícil saber exactament quina IP ha enviat cada petició. Per a la comparativa completa, llegeix proxys estàtics enfront de rotatius.

Quan rotes la teva pròpia llista d'IP estàtiques, cada decisió depèn del teu codi. Cada IP és exclusivament teva, de manera que la seva reputació depèn de com la facis servir. Pots registrar la IP de cada petició, apartar una IP quan un lloc web comenci a retornar errors i mantenir una IP per a una sessió iniciada. El contrapunt és que has d'escriure tu mateix la lògica de selecció, reintents i limitació de ritme. La resta d'aquesta guia conté el codi mínim per fer-ho correctament.

Pas 1: prepara la llista de proxys

Els proxys s'entreguen en format ip:port:user:pass, un per línia. Guarda'ls a proxies.txt. La biblioteca requests espera URLs, així que fes la conversió un cop carreguis el fitxer. Si una contrasenya conté caràcters com ara @, : o #, codifica-la en format URL; altrament, requests processarà malament l'URL i obtindràs un error 407 Proxy Authentication Required. També pots convertir una llista sencera amb el convertidor de format de proxy.

  • from urllib.parse import quote
  • def to_url(line):
  • ip, port, user, pw = line.strip().split(':', 3)
  • return 'http://' + quote(user, safe='') + ':' + quote(pw, safe='') + '@' + ip + ':' + port
  • PROXIES = [to_url(l) for l in open('proxies.txt') if l.strip()]
  • Utilitza l'esquema http:// tant per a la clau http com per a la clau https del diccionari proxies. Per a llocs HTTPS, requests obre un túnel CONNECT a través del proxy HTTP, de manera que el proxy mateix no necessita utilitzar TLS.

Pas 2: tres maneres de rotar

No hi ha una única estratègia que s'adapti a totes les tasques. Les pàgines públiques sense inici de sessió es poden distribuir uniformement entre les IP, mentre que qualsevol acció amb sessió, carretó o autenticació hauria de mantenir una mateixa IP durant tota la sessió.

  • Exemple de round-robin: for url in urls: p = next(pool); r = requests.get(url, proxies={'http': p, 'https': p}, timeout=(5, 20))
  • Exemple d'IP fixada: assigna un nom de compte o un domini a key i la mateixa clau s'associarà sempre a la mateixa IP, fins i tot després de reiniciar. Fes servir zlib.crc32 en lloc de hash(), perquè Python aleatoritza hash() entre execucions.
EstratègiaCodi principalQuan utilitzar-la
Round-robinpool = itertools.cycle(PROXIES) i després next(pool)Rastreig de pàgines públiques i distribució uniforme de la càrrega
Aleatòriarandom.choice(PROXIES)L'ordre de les peticions no importa i vols evitar un ritme fix
Fixada per clauPROXIES[zlib.crc32(key.encode()) % len(PROXIES)]Un compte, sessió o domini ha d'utilitzar sempre la mateixa IP

Pas 3: una Session per proxy

Cridar requests.get() per a cada URL obre una connexió nova i fa una negociació TLS cada vegada. Per a un grup de peticions a la mateixa IP, crea un requests.Session() per proxy i reutilitza'l. Una sessió manté les connexions actives i emmagatzema cookies, la qual cosa combina de forma natural amb la rotació fixada: cada sessió és una IP fixa més les seves pròpies cookies.

Un patró senzill és un diccionari sessions = {}, seguit de s = sessions.setdefault(p, requests.Session()) i s.proxies = {'http': p, 'https': p}. Evita compartir una única sessió mentre canvies de proxy entre peticions, perquè les cookies obtingudes amb una IP s'enviarien des d'una altra, i el lloc veuria una sessió saltant d'una IP a una altra. Trobaràs més detalls de configuració a la pàgina de configuració de proxy amb Python requests.

Pas 4: reintenta amb una altra IP i aparta les que fallin

En una llista d'unes quantes desenes d'IP, de vegades alguna esgotarà el temps d'espera o rebrà un 403 o 429 d'un lloc web determinat. Un bon codi no atura tota l'execució; transfereix la petició a una altra IP i deixa reposar la que ha fallat. La manera més senzilla és un diccionari cooldown = {} que contingui l'hora en què es podrà tornar a utilitzar cada IP.

  • Captura els errors de connexió amb except (requests.exceptions.ProxyError, requests.exceptions.ConnectTimeout, requests.exceptions.ReadTimeout), registra la fallada i prova amb la següent IP.
  • Amb un 429 o 403, defineix cooldown[p] = time.time() + 300 per fer reposar la IP durant cinc minuts, i omet qualsevol proxy on cooldown.get(p, 0) > time.time().
  • Limita els intents, per exemple a tres IP per URL, perquè una pàgina amb errors no esgoti tota la llista.
  • Registra l'URL, la IP, el codi d'estat i el temps de resposta de cada petició. Quan alguna cosa falli, el registre t'indicarà si el problema és d'una IP, de tot el conjunt o del lloc web de destinació.
  • Per a controls d'estat, equilibri de càrrega i registres a més gran escala, consulta la gestió de conjunts de proxys.

Pas 5: executa de forma concurrent sense sobrecarregar cap IP

Amb concurrent.futures.ThreadPoolExecutor, ajusta el nombre de fils al nombre d'IP en lloc d'augmentar-lo sense control. Una regla inicial segura és no fer servir més fils que IP, amb cada IP gestionant una petició alhora. Una queue.Queue de proxys inactius ho resol de manera neta: un fil agafa un proxy, envia la petició, espera breument i el torna a la cua.

Un petit retard aleatori entre peticions a la mateixa IP, com ara time.sleep(random.uniform(1, 3)), fa que el patró sigui menys mecànic i és més respectuós amb el servidor de destinació. El ritme adequat depèn del lloc web; límits de freqüència en web scraping explica com estimar les peticions per IP i quantes IP necessita una càrrega de treball.

Llista de verificació abans d'una execució real

  • Comprova primer tota la llista amb el verificador de proxys o amb una crida de prova a un punt final d'eco d'IP com ara requests.get('https://httpbin.org/ip', proxies=..., timeout=10).
  • Defineix sempre un timeout; sense aquest, una IP bloquejada pot aturar un fil per sempre.
  • Envia un User-Agent coherent i mantén-lo constant durant tota la sessió.
  • Respecta el robots.txt i les condicions del lloc web, i recopila només dades públiques que tinguis permís per utilitzar.
  • Mantingues les credencials del proxy fora del codi que publiquis a Git; llegeix-les des d'un fitxer o des de variables d'entorn.
  • Quan s'acabi el període de lloguer, renova des del tauler de control per conservar les mateixes IP, de manera que la teva llista i els registres per IP continuïn sent vàlids.

Preguntes freqüents

Pot la rotació d'una llista estàtica substituir un proxy residencial rotatiu?

Per a pàgines públiques a un ritme moderat acostuma a ser suficient, ja que la càrrega es distribueix entre diverses IP dedicades. Si un lloc web bloqueja tots els rangs de centres de dades o necessites milers d'IP diferents, una petita llista autorotada no serà un substitut viable. VinaProxy no ven actualment proxys residencials rotatius.

Hauria de canviar d'IP a cada petició o segons un temporitzador?

Les pàgines públiques sense inici de sessió poden canviar a cada petició. Qualsevol acció amb cookies, carretó o inici de sessió hauria de mantenir una mateixa IP durant tota la sessió, ja que un canvi d'IP a mitja sessió resulta sospitós.

Per què el proxy funciona al meu navegador però retorna 407 a Python?

Normalment, la contrasenya conté caràcters especials que no s'han codificat com a URL, o l'usuari i la contrasenya s'han separat en l'ordre incorrecte. Fes servir quote(pw, safe='') com al codi d'exemple.

Això funciona amb httpx o aiohttp?

La lògica de càrrega i de selecció és exactament la mateixa. Només canvia la manera de passar el proxy: httpx el rep quan crees el client, mentre que aiohttp rep un argument proxy a cada petició.

Els proxys admeten SOCKS5 per a requests?

Els proxys de VinaProxy utilitzen HTTP/HTTPS amb autenticació per usuari i contrasenya. Utilitza l'esquema http:// que es mostra a dalt; no cal cap paquet de SOCKS.

Crea el teu propi conjunt d'IP dedicades

Proxys privats IPv4 a 7 països. Cada IP s'assigna a un sol client, es manté fixa durant el lloguer, disposa d'amplada de banda il·limitada i s'entrega com a ip:port:user:pass.

Consulta els preus

Related articles

Configuració de proxies
Com utilitzar un proxy a Python Requests (HTTP/HTTPS i pooling de Session)
Configura proxys HTTP(S) amb autenticació a Python requests i requests.Session(). Gestiona excepcions 407 ProxyError i rota grups d'IP estàtiques.
Base de coneixement
Gestió de pools de proxies: d'una llista d'IP a un sistema estable
Com gestionar un pool de proxies per a scraping i eines: inventari d'IP, controls de salut periòdics, reintents, registres i seguiment de renovacions.
Base de coneixement
Pròxi estàtic o rotatori: tria segons la tasca
Pròxies estàtics vs. rotatoris segons la tasca: gestió de comptes, anuncis, botigues, scraping i SEO. Pros i contres, sessions persistents i rotació pròpia.
Proxies per plataforma
Proxies per a web scraping: grups d'IPv4 dedicada i ISP sense límit per a rastrejadors 24/7
Proxies HTTP(S) d'IPv4 dedicada i ISP estàtica per a Python, Playwright, Selenium i Scrapy amb amplada de banda il·limitada. Compara plans i comença.
Productes
Proxies ISP residencials estàtics
Proxies ISP residencials estàtics als Estats Units i Vietnam. IPs registrades en operadors domèstics, dedicades a un client i amb ample de banda il·limitat.
Productes
Proxies IPv4 privats de centre de dades
Compra proxies IPv4 de centre de dades als EUA, Vietnam, Japó, Corea del Sud, Singapur, el Regne Unit i Hong Kong. HTTP(S)/SOCKS5 (Vietnam: només HTTP) i ample de banda il·limitat.
ISP · vietnam
Pròxies ISP estàtics de Vietnam: IP vietnamites de xarxa domèstica per als vostres comptes més valuosos
Pròxies ISP estàtics de Vietnam amb IP domèstiques. Una IP vietnamita fixa per a botigues Shopee, TikTok Shop, comptes d'anuncis de Facebook i Zalo OA.
IPV4 · united states
Pròxies IPv4 privats dels EUA: IP de datacenter nord-americanes ràpides i dedicades
Pròxies IPv4 privats EUA per a scraping, rànquings, anuncis i recerca a Amazon. IP estàtica, un usuari per IP, ample de banda il·limitat i activació ràpida.