Límits de ritme en web scraping: quina velocitat és massa ràpid

Updated:

Un límit de peticions (rate limit) és el nombre de sol·licituds que un lloc web accepta d'un mateix origen en una finestra de temps; si el superes, rebràs errors 429, pàgines de CAPTCHA o un bloqueig total. Un scraping sostenible es manté per sota d'aquesta línia: llegeix el robots.txt i les condicions d'ús, limita les connexions concurrents per domini, afegeix retards aleatoris, aplica un backoff exponencial quan et rebutgin i reparteix la càrrega entre prou IP. Aquesta guia explica què compten realment els webs, com regular el ritme de peticions en codi i com calcular quantes IP necessites realment.

Distribueix l'scraping entre IP dedicades

Què compten els llocs web quan apliquen límits

Molta gent assumeix que els límits de ritme s'apliquen només per IP, de manera que tenir més IP implicaria un scraping més ràpid. A la pràctica, un lloc web pot comptabilitzar les peticions segons diversos criteris alhora, i tenir més IP només en resol un. Saber quin criteri estàs assolint et permet solucionar el problema correcte en lloc de comprar servidors intermediaris que no necessites.

Criteri de recompteExempleAjuden més IP?
Adreça IPCada IP té un nombre determinat de peticions per minutSí, reparteix la càrrega entre diverses IP
Rang d'IP o ASNEs limita conjuntament tota una subxarxa o un proveïdor d'allotjamentGairebé gens, si les IP comparteixen rang
Galeta o sessióUna sola sessió visita massa pàgines massa ràpidamentNo, alenteix cada sessió
Compte o clau d'APIQuota de peticions per compte registratNo, la quota va associada al compte
Empremta digital i comportamentCapçaleres idèntiques i un ritme perfectament regularNo, canvia la manera d'enviar les peticions

Llegeix el robots.txt, les condicions i les capçaleres de resposta

Obre https://example.com/robots.txt per veure quins camins el lloc web no vol que visitin els robots. Alguns llocs també indiquen Crawl-delay, el nombre de segons que cal esperar entre peticions. No totes les eines el respecten, però és la indicació més clara sobre el ritme que accepta el propietari. Llegeix també les condicions d'ús: alguns llocs prohibeixen la recopilació automatitzada, mentre que d'altres ofereixen una API oficial o una exportació de dades més ràpida i estable que analitzar HTML.

Un cop en marxa, observa les capçaleres de resposta. Retry-After en un error 429 o 503 t'indica quan tornar-ho a provar. Algunes API també retornen capçaleres com X-RateLimit-Remaining o RateLimit-Remaining, que mostren quantes peticions queden en la finestra actual. Un bon codi llegeix aquests valors i redueix la velocitat abans de ser bloquejat.

Regula el ritme de les peticions en codi

Limita a dos nivells: peticions concurrents per domini i interval mínim entre dues peticions des de la mateixa IP. Comença a poc a poc, vigila la taxa d'errors i augmenta el ritme gradualment.

  • Scrapy: defineix CONCURRENT_REQUESTS_PER_DOMAIN i DOWNLOAD_DELAY, i activa AUTOTHROTTLE_ENABLED = True perquè Scrapy s'adapti a la latència de resposta. La configuració de proxies s'explica a la guia de configuració de proxies per a Scrapy.
  • Python requests: després de cada petició des d'una IP, espera amb time.sleep(base + random.uniform(0, jitter)). Aquest retard aleatori evita un ritme mecànic.
  • Token bucket: assigna a cada IP un dipòsit de N testimonis que es recarreguen a un ritme fix i envia peticions només quan hi hagi un testimoni disponible. Això permet ràfegues curtes mantenint una mitjana constant.
  • Límits de concurrència: utilitza un asyncio.Semaphore o una cua de proxies inactius perquè cada IP gestioni només una petició alhora.
  • Pressupostos per domini: si extreus dades de diversos llocs, mantén un limitador independent per domini; un lloc web petit tolera molt menys que un gran portal de comerç electrònic.

Aplica backoff quan et rebutgin

Després d'un 429, un 503 o una pàgina de verificació, no ho tornis a intentar immediatament. El backoff exponencial significa que el primer reintent espera un interval, el segon el doble, el tercer quatre vegades més, a més d'un component aleatori perquè els fils no reintentin al mateix instant. Si Retry-After és present, fes-lo servir. Després de diverses fallades consecutives en una IP, deixa descansar aquesta IP durant una estona i redueix el ritme general de la tasca.

Un error comú és passar una petició que ha rebut un 429 a una altra IP sense reduir la velocitat, cosa que simplement porta tot el conjunt d'IP al límit, d'una en una. El codi d'estat en si es tracta a HTTP 429 Too Many Requests.

Calcula quantes IP necessites

No hi ha una xifra universal, així que cal mesurar-ho. Executa una IP a un ritme baix i augmenta'l fins que comencis a veure errors 429 o CAPTCHA; després, agafa aproximadament la meitat d'aquesta xifra com a ritme segur per IP. El nombre d'IP necessàries és igual al total de peticions per hora dividit entre les peticions segures per IP i hora, arrodonit a l'alça, més unes quantes de reserva.

Un exemple hipotètic: necessites 6.000 pàgines en 5 hores, la qual cosa són 1.200 pàgines per hora. Si una IP funciona de manera neta a unes 200 pàgines per hora, necessites 6 IP, més 1 o 2 de reserva per quan alguna estigui descansant. Si el resultat és un nombre molt alt, replanteja't l'abast: realment necessites tornar a descarregar cada pàgina a cada execució? A Quants proxies necessito també s'expliquen estimacions per a altres tasques.

Redueix les peticions abans d'afegir IP

  • Utilitza una API oficial o el mapa del lloc web quan estiguin disponibles en lloc de navegar per llistats de categories.
  • Emmagatzema les respostes a la memòria cau i envia If-Modified-Since o ETag per descarregar només les pàgines que hagin canviat.
  • Obtén només el que necessitis; omet imatges, CSS i tipografies quan només vulguis l'HTML.
  • Programa les execucions durant les hores de menys trànsit del lloc web de destinació.
  • Elimina tasques duplicades perquè la mateixa URL no es descarregui diverses vegades al dia.

Proxies per a un scraping controlat

Per a dades públiques, els proxies de centre de dades IPv4 dedicats solen ser l'opció més assenyada: ràpids, amb ample de banda il·limitat i d'ús exclusiu per a tu, de manera que ningú més no en perjudica la reputació. Tria el país de la IP segons el contingut que necessitis, ja que molts llocs mostren preus, estoc o resultats diferents segons la ubicació. Consulta proxies per a web scraping i el cas d'ús de web scraping per veure configuracions.

Un proxy no és una llicència per extreure qualsevol cosa. Respecta les condicions del lloc web, no recopilis dades personals de manera il·lícita i no sobrecarreguis servidors aliens.

Preguntes freqüents

Un lloc web em pot bloquejar fins i tot si utilitzo moltes IP?

Sí. Si comptabilitza per sessió, compte, empremta digital del navegador o rang d'IP, afegir més IP no és suficient. Redueix el ritme, corregeix les capçaleres i el comportament, o fes servir una API oficial.

És obligatori seguir el robots.txt?

És una convenció més que no pas una barrera tècnica, però expressa la voluntat del propietari i sovint acompanya les condicions d'ús. Respectar-lo és una pràctica responsable i redueix el risc legal.

Quants segons haig d'esperar entre peticions?

No hi ha una resposta única. Comença a poc a poc, monitoritza els errors i la latència, i augmenta el ritme gradualment. Si el robots.txt defineix un Crawl-delay, pren-lo com a mínim.

Els proxies d'ISP em permetran extreure dades més ràpidament?

Normalment no. El ritme permès depèn del ritme de les peticions, no del tipus d'IP. Els proxies d'ISP només val la pena considerar-los quan el lloc web de destinació bloqueja específicament rangs de centres de dades.

L'ample de banda és limitat per a un volum alt d'scraping?

Els proxies IPv4 i ISP de VinaProxy tenen ample de banda il·limitat. El límit que cal planificar és el llindar de peticions del lloc web de destinació.

Distribueix l'scraping entre IP dedicades

Proxies IPv4 privats de centre de dades a 7 països amb ample de banda il·limitat, IP fixes durant tot el lloguer i activació automàtica després del pagament.

Consulta els preus

Related articles

Base de coneixement
HTTP 429 Too Many Requests: per què passa i com solucionar-lo
Què significa HTTP 429 Too Many Requests, per què apareix amb proxys i eines, com llegir Retry-After, aplicar backoff i redistribuir IP per evitar-lo.
Base de coneixement
Com rotar una llista de proxys estàtics a Python
Rota la teva llista de proxys estàtics amb Python requests: processa ip:port:user:pass, round-robin, sessions persistents, reintents, pauses i codi d'exemple.
Casos d'ús
Proxies per a web scraping i recollida de dades
Trieu proxies per a web scraping: IPv4 privats ràpids, ISP estàtics per a webs estrictes, ample de banda il·limitat i com fer scraping de manera responsable.
Configuració de proxies
Com configurar i rotar proxies a Python Scrapy
Configura servidors intermediaris HTTP(S) autenticats a Scrapy amb Python mitjançant HttpProxyMiddleware, request.meta['proxy'] i límit de concurrència per IP.
Productes
Proxies ISP residencials estàtics
Proxies ISP residencials estàtics als Estats Units i Vietnam. IPs registrades en operadors domèstics, dedicades a un client i amb ample de banda il·limitat.
Productes
Proxies IPv4 privats de centre de dades
Compra proxies IPv4 de centre de dades als EUA, Vietnam, Japó, Corea del Sud, Singapur, el Regne Unit i Hong Kong. HTTP(S)/SOCKS5 (Vietnam: només HTTP) i ample de banda il·limitat.
ISP · vietnam
Pròxies ISP estàtics de Vietnam: IP vietnamites de xarxa domèstica per als vostres comptes més valuosos
Pròxies ISP estàtics de Vietnam amb IP domèstiques. Una IP vietnamita fixa per a botigues Shopee, TikTok Shop, comptes d'anuncis de Facebook i Zalo OA.
IPV4 · united states
Pròxies IPv4 privats dels EUA: IP de datacenter nord-americanes ràpides i dedicades
Pròxies IPv4 privats EUA per a scraping, rànquings, anuncis i recerca a Amazon. IP estàtica, un usuari per IP, ample de banda il·limitat i activació ràpida.