Límits de ritme en web scraping: quina velocitat és massa ràpid
Updated:
Un límit de peticions (rate limit) és el nombre de sol·licituds que un lloc web accepta d'un mateix origen en una finestra de temps; si el superes, rebràs errors 429, pàgines de CAPTCHA o un bloqueig total. Un scraping sostenible es manté per sota d'aquesta línia: llegeix el robots.txt i les condicions d'ús, limita les connexions concurrents per domini, afegeix retards aleatoris, aplica un backoff exponencial quan et rebutgin i reparteix la càrrega entre prou IP. Aquesta guia explica què compten realment els webs, com regular el ritme de peticions en codi i com calcular quantes IP necessites realment.
Què compten els llocs web quan apliquen límits
Molta gent assumeix que els límits de ritme s'apliquen només per IP, de manera que tenir més IP implicaria un scraping més ràpid. A la pràctica, un lloc web pot comptabilitzar les peticions segons diversos criteris alhora, i tenir més IP només en resol un. Saber quin criteri estàs assolint et permet solucionar el problema correcte en lloc de comprar servidors intermediaris que no necessites.
| Criteri de recompte | Exemple | Ajuden més IP? |
|---|---|---|
| Adreça IP | Cada IP té un nombre determinat de peticions per minut | Sí, reparteix la càrrega entre diverses IP |
| Rang d'IP o ASN | Es limita conjuntament tota una subxarxa o un proveïdor d'allotjament | Gairebé gens, si les IP comparteixen rang |
| Galeta o sessió | Una sola sessió visita massa pàgines massa ràpidament | No, alenteix cada sessió |
| Compte o clau d'API | Quota de peticions per compte registrat | No, la quota va associada al compte |
| Empremta digital i comportament | Capçaleres idèntiques i un ritme perfectament regular | No, canvia la manera d'enviar les peticions |
Llegeix el robots.txt, les condicions i les capçaleres de resposta
Obre https://example.com/robots.txt per veure quins camins el lloc web no vol que visitin els robots. Alguns llocs també indiquen Crawl-delay, el nombre de segons que cal esperar entre peticions. No totes les eines el respecten, però és la indicació més clara sobre el ritme que accepta el propietari. Llegeix també les condicions d'ús: alguns llocs prohibeixen la recopilació automatitzada, mentre que d'altres ofereixen una API oficial o una exportació de dades més ràpida i estable que analitzar HTML.
Un cop en marxa, observa les capçaleres de resposta. Retry-After en un error 429 o 503 t'indica quan tornar-ho a provar. Algunes API també retornen capçaleres com X-RateLimit-Remaining o RateLimit-Remaining, que mostren quantes peticions queden en la finestra actual. Un bon codi llegeix aquests valors i redueix la velocitat abans de ser bloquejat.
Regula el ritme de les peticions en codi
Limita a dos nivells: peticions concurrents per domini i interval mínim entre dues peticions des de la mateixa IP. Comença a poc a poc, vigila la taxa d'errors i augmenta el ritme gradualment.
- Scrapy: defineix
CONCURRENT_REQUESTS_PER_DOMAINiDOWNLOAD_DELAY, i activaAUTOTHROTTLE_ENABLED = Trueperquè Scrapy s'adapti a la latència de resposta. La configuració de proxies s'explica a la guia de configuració de proxies per a Scrapy. - Python requests: després de cada petició des d'una IP, espera amb
time.sleep(base + random.uniform(0, jitter)). Aquest retard aleatori evita un ritme mecànic. - Token bucket: assigna a cada IP un dipòsit de N testimonis que es recarreguen a un ritme fix i envia peticions només quan hi hagi un testimoni disponible. Això permet ràfegues curtes mantenint una mitjana constant.
- Límits de concurrència: utilitza un
asyncio.Semaphoreo una cua de proxies inactius perquè cada IP gestioni només una petició alhora. - Pressupostos per domini: si extreus dades de diversos llocs, mantén un limitador independent per domini; un lloc web petit tolera molt menys que un gran portal de comerç electrònic.
Aplica backoff quan et rebutgin
Després d'un 429, un 503 o una pàgina de verificació, no ho tornis a intentar immediatament. El backoff exponencial significa que el primer reintent espera un interval, el segon el doble, el tercer quatre vegades més, a més d'un component aleatori perquè els fils no reintentin al mateix instant. Si Retry-After és present, fes-lo servir. Després de diverses fallades consecutives en una IP, deixa descansar aquesta IP durant una estona i redueix el ritme general de la tasca.
Un error comú és passar una petició que ha rebut un 429 a una altra IP sense reduir la velocitat, cosa que simplement porta tot el conjunt d'IP al límit, d'una en una. El codi d'estat en si es tracta a HTTP 429 Too Many Requests.
Calcula quantes IP necessites
No hi ha una xifra universal, així que cal mesurar-ho. Executa una IP a un ritme baix i augmenta'l fins que comencis a veure errors 429 o CAPTCHA; després, agafa aproximadament la meitat d'aquesta xifra com a ritme segur per IP. El nombre d'IP necessàries és igual al total de peticions per hora dividit entre les peticions segures per IP i hora, arrodonit a l'alça, més unes quantes de reserva.
Un exemple hipotètic: necessites 6.000 pàgines en 5 hores, la qual cosa són 1.200 pàgines per hora. Si una IP funciona de manera neta a unes 200 pàgines per hora, necessites 6 IP, més 1 o 2 de reserva per quan alguna estigui descansant. Si el resultat és un nombre molt alt, replanteja't l'abast: realment necessites tornar a descarregar cada pàgina a cada execució? A Quants proxies necessito també s'expliquen estimacions per a altres tasques.
Redueix les peticions abans d'afegir IP
- Utilitza una API oficial o el mapa del lloc web quan estiguin disponibles en lloc de navegar per llistats de categories.
- Emmagatzema les respostes a la memòria cau i envia
If-Modified-SinceoETagper descarregar només les pàgines que hagin canviat. - Obtén només el que necessitis; omet imatges, CSS i tipografies quan només vulguis l'HTML.
- Programa les execucions durant les hores de menys trànsit del lloc web de destinació.
- Elimina tasques duplicades perquè la mateixa URL no es descarregui diverses vegades al dia.
Proxies per a un scraping controlat
Per a dades públiques, els proxies de centre de dades IPv4 dedicats solen ser l'opció més assenyada: ràpids, amb ample de banda il·limitat i d'ús exclusiu per a tu, de manera que ningú més no en perjudica la reputació. Tria el país de la IP segons el contingut que necessitis, ja que molts llocs mostren preus, estoc o resultats diferents segons la ubicació. Consulta proxies per a web scraping i el cas d'ús de web scraping per veure configuracions.
Un proxy no és una llicència per extreure qualsevol cosa. Respecta les condicions del lloc web, no recopilis dades personals de manera il·lícita i no sobrecarreguis servidors aliens.
Preguntes freqüents
Un lloc web em pot bloquejar fins i tot si utilitzo moltes IP?
Sí. Si comptabilitza per sessió, compte, empremta digital del navegador o rang d'IP, afegir més IP no és suficient. Redueix el ritme, corregeix les capçaleres i el comportament, o fes servir una API oficial.
És obligatori seguir el robots.txt?
És una convenció més que no pas una barrera tècnica, però expressa la voluntat del propietari i sovint acompanya les condicions d'ús. Respectar-lo és una pràctica responsable i redueix el risc legal.
Quants segons haig d'esperar entre peticions?
No hi ha una resposta única. Comença a poc a poc, monitoritza els errors i la latència, i augmenta el ritme gradualment. Si el robots.txt defineix un Crawl-delay, pren-lo com a mínim.
Els proxies d'ISP em permetran extreure dades més ràpidament?
Normalment no. El ritme permès depèn del ritme de les peticions, no del tipus d'IP. Els proxies d'ISP només val la pena considerar-los quan el lloc web de destinació bloqueja específicament rangs de centres de dades.
L'ample de banda és limitat per a un volum alt d'scraping?
Els proxies IPv4 i ISP de VinaProxy tenen ample de banda il·limitat. El límit que cal planificar és el llindar de peticions del lloc web de destinació.
Distribueix l'scraping entre IP dedicades
Proxies IPv4 privats de centre de dades a 7 països amb ample de banda il·limitat, IP fixes durant tot el lloguer i activació automàtica després del pagament.
Consulta els preus