Gestió de pools de proxies: d'una llista d'IP a un sistema estable

Updated:

Gestionar un pool de proxies implica saber sempre quines IP estan actives, per a què s'utilitza cadascuna, quines necessiten un descans i quines estan a punt de caducar. Un pool ben administrat consta de quatre parts: un inventari amb detalls complets de cada IP, controls periòdics d'estat de salut, regles clares d'assignació i reintents, i registres prou detallats per detectar on es troba qualsevol problema. Amb un grapat d'IP n'hi ha prou amb un fitxer de text; un cop en teniu desenes o centenars compartides entre eines i persones, prescindir d'aquestes parts obliga a fer conjectures. Aquesta guia repassa cada component de manera pràctica.

Amplieu el vostre pool amb IP fixes dedicades

L'inventari: què cal registrar

En primer lloc, transformeu la llista ip:port:user:pass en un inventari estructurat. Un full de càlcul, un fitxer JSON o una taula de base de dades són opcions vàlides sempre que cada IP tingui els mateixos camps. Per fer canvis de format per lots, utilitzeu el proxy format converter.

CampExempleS'utilitza per a
Adreça, port, credencialsip, port, user, passConnexió
Tipus d'IPDatacenter IPv4 or static ISPAssignar IP a tasques
PaísVN, US, JPTriar IP per mercat
Estatactive, cooling, dead, reservedSaber quines IP es poden utilitzar
Assignat aCompte, eina o nom de la tascaEvitar que dues tasques competeixin per la mateixa IP
Data de caducitatData per renovarNo perdre una IP que estigui en ús
Últim controlHora, resultat, latènciaSeguiment de la salut

Controls periòdics d'estat de salut

Una IP està activa quan podeu connectar-vos al proxy, autenticar-vos, sortir per la IP esperada i carregar una pàgina en un temps raonable. Comprovar cada pas per separat permet localitzar l'origen d'una fallada: no poder connectar-se sol indicar un problema de xarxa o de tallafoc, un 407 significa credencials incorrectes i una IP de sortida inesperada assenyala un error de configuració.

  • Envieu una sol·licitud lleugera a través del proxy cap a un punt final d'eco d'IP, com ara curl -x http://user:pass@ip:port -s -m 10 https://httpbin.org/ip, i compareu la IP retornada amb l'inventari.
  • Registreu el temps de resposta per detectar IP inusualment lentes; l'article sobre testing proxy speed and latency explica com mesurar-ho adequadament.
  • Afegiu una comprovació específica per a la destinació si cal: que una IP estigui activa no garanteix que pugui accedir al lloc que voleu extreure.
  • Executeu comprovacions programades, per exemple cada hora per a pools amb tasques en curs, i abans de cada tasca voluminosa.
  • Comproveu una llista sencera manualment amb el proxy checker; hi ha altres mètodes detallats a checking whether a proxy is alive.
  • No marqueu una IP com a inactiva després d'una sola fallada. Els errors de xarxa transitoris són habituals; canvieu d'estat només després de diversos errors consecutius.

Estats i cicle de vida d'una IP

Quatre estats cobreixen la majoria de sistemes. active: a punt per treballar. cooling: ha rebut recentment un 429, 403 o un CAPTCHA d'una destinació i reposa fins a una hora establerta. dead: fallades repetides de connexió o autenticació que requereixen revisió o obrir un tiquet d'assistència. reserved: assignada a un sol compte i exclosa de la rotació general.

Mantenir l'estat de repòs separat de l'estat inactiu és fonamental. Una IP limitada temporalment per un lloc web és funcional i només necessita descansar; marcar-la com a inactiva i notificar una fallada confon un problema de ritme amb un problema del proxy. Si una IP realment falla per un problema del proveïdor, obriu un tiquet indicant la IP, l'hora i el missatge d'error per resoldre-ho ràpidament.

Assignació d'IP per tasca

  • Comptes que mantenen sessions (xarxes socials, botigues, anuncis): una IP reservada per compte, mai en rotació. Canviar la IP d'un compte sa introdueix un senyal anòmal.
  • Scraping de dades públiques: un pool compartit d'IP actives, per torn rotatori o aleatori, cadascuna al seu propi ritme segur. Podeu trobar codi per a això a rotating a proxy list in Python.
  • Diversos mercats: dividiu el pool per països perquè cada tasca només prengui IP del país que necessita.
  • Diverses persones i eines: anoteu a qui pertany cada IP. Que dues eines comparteixin una mateixa IP sense saber-ho és una causa freqüent d'errors 429 desconcertants. Vegeu sharing proxies with a team safely.
  • IP de reserva: manteniu unes quantes IP inactives per substituir les que requereixin un descans perllongat, en lloc de sobrecarregar les restants.

Política de reintents

Els reintents incontrolats són la via més ràpida per transformar un petit error en una tempesta de sol·licituds. Establiu una política clara i apliqueu-la a totes les eines: els errors de connexió i de temps d'espera es reintenten amb una altra IP un nombre limitat de vegades; els codis 429 i 503 respecten Retry-After, passen la IP a repòs i redueixen el ritme general; els 403 reiterats en múltiples IP aturen la tasca per revisar com s'envien les peticions, ja que la IP no n'és la causa.

Cada reintent hauria d'esperar més temps que l'anterior, incorporant una variació aleatòria (jitter). Limiteu el nombre total d'intents per URL i traslladeu les URL fallides a una cua posterior. Trobareu més detalls sobre el codi 429 a HTTP 429 Too Many Requests.

Registres i mètriques a supervisar

  • Enregistreu una línia per sol·licitud: hora, tasca, URL o domini, IP, codi d'estat, temps de resposta i número d'intent.
  • Superviseu la taxa d'èxit per IP i per domini. Una IP amb un rendiment molt inferior a la resta requereix atenció; un domini la taxa del qual baixa de forma generalitzada ha modificat el seu patró de bloqueig.
  • Controleu la latència mitjana i la de cua lenta (slow-tail) per IP, no només la mitjana aritmètica.
  • Comptabilitzeu diàriament les IP en cada estat; un augment constant d'IP en repòs indica que esteu operant a un ritme massa ràpid.
  • No escriviu mai les contrasenyes del proxy als registres. Anoteu únicament la IP i el port.
  • Conserveu els registres prou temps per poder comparar abans i després de fer canvis de configuració.

Seguiment de venciments i renovacions

Una IP dedicada us pertany només durant el període de lloguer. Si la deixeu caducar, podria assignar-se a una altra persona, perdent l'historial de registres i qualsevol compte vinculat. Establiu recordatoris a l'inventari abans del venciment i renoveu des del tauler per conservar la mateixa IP; l'article sobre renewing a proxy to keep the same IP cobreix tots els detalls.

Reviseu el pool periòdicament: potser no cal renovar les IP que porten setmanes sense ús, mentre que les que estan sempre ocupades indiquen que en necessiteu més. Preneu decisions basades en els registres i no pas en intuïcions.

Preguntes freqüents

Amb quina freqüència he de comprovar la salut dels proxies?

En pools que executen tasques, fer-ho cada hora o abans de cada gran tasca és raonable. Els pools dedicats només a comptes es poden comprovar diàriament. Eviteu saturar la mateixa destinació amb comprovacions.

Una IP que retorna un 403 està inactiva?

No. Un 403 indica que la destinació ha refusat la petició; el proxy continua funcionant. Passeu la IP a repòs i reviseu com s'envien les peticions. Considereu-la inactiva només després de reiterades fallades de connexió o autenticació.

Haurien de compartir un mateix pool els comptes i l'scraping?

No. Els comptes requereixen IP fixes dedicades, mentre que l'scraping rota constantment. Barrejar-los fa que els comptes passin per múltiples IP i que altres llocs acabin limitant les IP dels comptes.

Què he de fer quan una IP falla realment?

Obriu un tiquet amb la IP, l'hora i el missatge d'error. El suport mitjançant tiquets funciona 24/7, i les incidències tècniques es gestionen sota la política de reemborsament.

Amplieu el vostre pool amb IP fixes dedicades

IPv4 privada a 7 països, ISP estàtic al Vietnam i als Estats Units. Un client per IP, mateixa IP en renovar, amplada de banda il·limitada, format ip:port:user:pass.

Veure preus

Related articles

Base de coneixement
Comprovació de proxies en massa: d'eines web a scripts
Comproveu si els proxies estan actius en massa amb una eina web, un bucle curl o un script Python en paral·lel, i gestioneu els servidors caiguts adequadament.
Base de coneixement
Com rotar una llista de proxys estàtics a Python
Rota la teva llista de proxys estàtics amb Python requests: processa ip:port:user:pass, round-robin, sessions persistents, reintents, pauses i codi d'exemple.
Eines gratuïtes
Verificador de proxies: comprova els teus proxies en línia
Comprova gratis fins a 100 proxies en format ip:port:usuari:clau: estat, IP de sortida i latència en línia. Descobreix què vol dir cada error.
Casos d'ús
Proxies per a web scraping i recollida de dades
Trieu proxies per a web scraping: IPv4 privats ràpids, ISP estàtics per a webs estrictes, ample de banda il·limitat i com fer scraping de manera responsable.
Productes
Proxies ISP residencials estàtics
Proxies ISP residencials estàtics als Estats Units i Vietnam. IPs registrades en operadors domèstics, dedicades a un client i amb ample de banda il·limitat.
Productes
Proxies IPv4 privats de centre de dades
Compra proxies IPv4 de centre de dades als EUA, Vietnam, Japó, Corea del Sud, Singapur, el Regne Unit i Hong Kong. HTTP(S)/SOCKS5 (Vietnam: només HTTP) i ample de banda il·limitat.
ISP · vietnam
Pròxies ISP estàtics de Vietnam: IP vietnamites de xarxa domèstica per als vostres comptes més valuosos
Pròxies ISP estàtics de Vietnam amb IP domèstiques. Una IP vietnamita fixa per a botigues Shopee, TikTok Shop, comptes d'anuncis de Facebook i Zalo OA.
IPV4 · united states
Pròxies IPv4 privats dels EUA: IP de datacenter nord-americanes ràpides i dedicades
Pròxies IPv4 privats EUA per a scraping, rànquings, anuncis i recerca a Amazon. IP estàtica, un usuari per IP, ample de banda il·limitat i activació ràpida.