Gestió de pools de proxies: d'una llista d'IP a un sistema estable
Updated:
Gestionar un pool de proxies implica saber sempre quines IP estan actives, per a què s'utilitza cadascuna, quines necessiten un descans i quines estan a punt de caducar. Un pool ben administrat consta de quatre parts: un inventari amb detalls complets de cada IP, controls periòdics d'estat de salut, regles clares d'assignació i reintents, i registres prou detallats per detectar on es troba qualsevol problema. Amb un grapat d'IP n'hi ha prou amb un fitxer de text; un cop en teniu desenes o centenars compartides entre eines i persones, prescindir d'aquestes parts obliga a fer conjectures. Aquesta guia repassa cada component de manera pràctica.
L'inventari: què cal registrar
En primer lloc, transformeu la llista ip:port:user:pass en un inventari estructurat. Un full de càlcul, un fitxer JSON o una taula de base de dades són opcions vàlides sempre que cada IP tingui els mateixos camps. Per fer canvis de format per lots, utilitzeu el proxy format converter.
| Camp | Exemple | S'utilitza per a |
|---|---|---|
| Adreça, port, credencials | ip, port, user, pass | Connexió |
| Tipus d'IP | Datacenter IPv4 or static ISP | Assignar IP a tasques |
| País | VN, US, JP | Triar IP per mercat |
| Estat | active, cooling, dead, reserved | Saber quines IP es poden utilitzar |
| Assignat a | Compte, eina o nom de la tasca | Evitar que dues tasques competeixin per la mateixa IP |
| Data de caducitat | Data per renovar | No perdre una IP que estigui en ús |
| Últim control | Hora, resultat, latència | Seguiment de la salut |
Controls periòdics d'estat de salut
Una IP està activa quan podeu connectar-vos al proxy, autenticar-vos, sortir per la IP esperada i carregar una pàgina en un temps raonable. Comprovar cada pas per separat permet localitzar l'origen d'una fallada: no poder connectar-se sol indicar un problema de xarxa o de tallafoc, un 407 significa credencials incorrectes i una IP de sortida inesperada assenyala un error de configuració.
- Envieu una sol·licitud lleugera a través del proxy cap a un punt final d'eco d'IP, com ara
curl -x http://user:pass@ip:port -s -m 10 https://httpbin.org/ip, i compareu la IP retornada amb l'inventari. - Registreu el temps de resposta per detectar IP inusualment lentes; l'article sobre testing proxy speed and latency explica com mesurar-ho adequadament.
- Afegiu una comprovació específica per a la destinació si cal: que una IP estigui activa no garanteix que pugui accedir al lloc que voleu extreure.
- Executeu comprovacions programades, per exemple cada hora per a pools amb tasques en curs, i abans de cada tasca voluminosa.
- Comproveu una llista sencera manualment amb el proxy checker; hi ha altres mètodes detallats a checking whether a proxy is alive.
- No marqueu una IP com a inactiva després d'una sola fallada. Els errors de xarxa transitoris són habituals; canvieu d'estat només després de diversos errors consecutius.
Estats i cicle de vida d'una IP
Quatre estats cobreixen la majoria de sistemes. active: a punt per treballar. cooling: ha rebut recentment un 429, 403 o un CAPTCHA d'una destinació i reposa fins a una hora establerta. dead: fallades repetides de connexió o autenticació que requereixen revisió o obrir un tiquet d'assistència. reserved: assignada a un sol compte i exclosa de la rotació general.
Mantenir l'estat de repòs separat de l'estat inactiu és fonamental. Una IP limitada temporalment per un lloc web és funcional i només necessita descansar; marcar-la com a inactiva i notificar una fallada confon un problema de ritme amb un problema del proxy. Si una IP realment falla per un problema del proveïdor, obriu un tiquet indicant la IP, l'hora i el missatge d'error per resoldre-ho ràpidament.
Assignació d'IP per tasca
- Comptes que mantenen sessions (xarxes socials, botigues, anuncis): una IP reservada per compte, mai en rotació. Canviar la IP d'un compte sa introdueix un senyal anòmal.
- Scraping de dades públiques: un pool compartit d'IP actives, per torn rotatori o aleatori, cadascuna al seu propi ritme segur. Podeu trobar codi per a això a rotating a proxy list in Python.
- Diversos mercats: dividiu el pool per països perquè cada tasca només prengui IP del país que necessita.
- Diverses persones i eines: anoteu a qui pertany cada IP. Que dues eines comparteixin una mateixa IP sense saber-ho és una causa freqüent d'errors 429 desconcertants. Vegeu sharing proxies with a team safely.
- IP de reserva: manteniu unes quantes IP inactives per substituir les que requereixin un descans perllongat, en lloc de sobrecarregar les restants.
Política de reintents
Els reintents incontrolats són la via més ràpida per transformar un petit error en una tempesta de sol·licituds. Establiu una política clara i apliqueu-la a totes les eines: els errors de connexió i de temps d'espera es reintenten amb una altra IP un nombre limitat de vegades; els codis 429 i 503 respecten Retry-After, passen la IP a repòs i redueixen el ritme general; els 403 reiterats en múltiples IP aturen la tasca per revisar com s'envien les peticions, ja que la IP no n'és la causa.
Cada reintent hauria d'esperar més temps que l'anterior, incorporant una variació aleatòria (jitter). Limiteu el nombre total d'intents per URL i traslladeu les URL fallides a una cua posterior. Trobareu més detalls sobre el codi 429 a HTTP 429 Too Many Requests.
Registres i mètriques a supervisar
- Enregistreu una línia per sol·licitud: hora, tasca, URL o domini, IP, codi d'estat, temps de resposta i número d'intent.
- Superviseu la taxa d'èxit per IP i per domini. Una IP amb un rendiment molt inferior a la resta requereix atenció; un domini la taxa del qual baixa de forma generalitzada ha modificat el seu patró de bloqueig.
- Controleu la latència mitjana i la de cua lenta (slow-tail) per IP, no només la mitjana aritmètica.
- Comptabilitzeu diàriament les IP en cada estat; un augment constant d'IP en repòs indica que esteu operant a un ritme massa ràpid.
- No escriviu mai les contrasenyes del proxy als registres. Anoteu únicament la IP i el port.
- Conserveu els registres prou temps per poder comparar abans i després de fer canvis de configuració.
Seguiment de venciments i renovacions
Una IP dedicada us pertany només durant el període de lloguer. Si la deixeu caducar, podria assignar-se a una altra persona, perdent l'historial de registres i qualsevol compte vinculat. Establiu recordatoris a l'inventari abans del venciment i renoveu des del tauler per conservar la mateixa IP; l'article sobre renewing a proxy to keep the same IP cobreix tots els detalls.
Reviseu el pool periòdicament: potser no cal renovar les IP que porten setmanes sense ús, mentre que les que estan sempre ocupades indiquen que en necessiteu més. Preneu decisions basades en els registres i no pas en intuïcions.
Preguntes freqüents
Amb quina freqüència he de comprovar la salut dels proxies?
En pools que executen tasques, fer-ho cada hora o abans de cada gran tasca és raonable. Els pools dedicats només a comptes es poden comprovar diàriament. Eviteu saturar la mateixa destinació amb comprovacions.
Una IP que retorna un 403 està inactiva?
No. Un 403 indica que la destinació ha refusat la petició; el proxy continua funcionant. Passeu la IP a repòs i reviseu com s'envien les peticions. Considereu-la inactiva només després de reiterades fallades de connexió o autenticació.
Haurien de compartir un mateix pool els comptes i l'scraping?
No. Els comptes requereixen IP fixes dedicades, mentre que l'scraping rota constantment. Barrejar-los fa que els comptes passin per múltiples IP i que altres llocs acabin limitant les IP dels comptes.
Què he de fer quan una IP falla realment?
Obriu un tiquet amb la IP, l'hora i el missatge d'error. El suport mitjançant tiquets funciona 24/7, i les incidències tècniques es gestionen sota la política de reemborsament.
Amplieu el vostre pool amb IP fixes dedicades
IPv4 privada a 7 països, ISP estàtic al Vietnam i als Estats Units. Un client per IP, mateixa IP en renovar, amplada de banda il·limitada, format ip:port:user:pass.
Veure preus