Scraping de SERP de Google per seguir rànquings: amb sentit comú
Updated:
Si voleu fer scraping dels resultats de Google per monitorar rànquings, comenceu per dos fets: les condicions de Google restringeixen les consultes automatitzades i els seus sistemes per bloquejar el trànsit automatitzat són potents. El camí més sòlid són les dades oficials: Google Search Console per al vostre propi lloc web, API de cerca amb llicència o una eina dedicada de seguiment de posicions. Els proxys per país són especialment útils per a comprovacions manuals i a petita escala amb baixa freqüència, per tal de veure els mateixos resultats que els usuaris del Vietnam, els EUA o el Japó. Aquesta guia us ajuda a triar la font de dades, la freqüència, el país i la configuració.
Per a què necessiteu realment les dades de les SERP?
Abans d'escriure codi, definiu l'objectiu. Fer el seguiment del vostre propi lloc web per a uns quants centenars de paraules clau és un problema; analitzar competidors en diversos mercats n'és un altre; comprovar com apareixen els anuncis o els fragments destacats en un país concret n'és un tercer. Cada cas s'adapta a una font de dades diferent.
Molta gent comença directament a extreure dades de Google diàriament per a milers de paraules clau i acaba lluitant contra CAPTCHA i bloquejos, quan la majoria de les seves preguntes es podrien respondre amb dades oficials o comprovacions manuals periòdiques.
Fonts de dades, per ordre de preferència
Reviseu les condicions i els límits de cada servei abans d'utilitzar-lo; les característiques i els costos d'aquestes plataformes canvien amb el temps.
| Font | Què us indica | Quan utilitzar-la |
|---|---|---|
| Google Search Console | Consultes, posició mitjana, impressions i clics per al vostre lloc web, filtrables per país | Seguiment del vostre propi lloc web; sempre la primera font |
| API de cerca amb llicència | Resultats de cerca per consulta mitjançant un canal oficial o proveïdor de dades | Necessiteu dades estructurades a gran volum, complint les condicions |
| Eines de seguiment de rànquings | Rànquings per paraula clau, país i dispositiu, amb històric | Centenars de paraules clau en diversos projectes |
| Comprovacions manuals amb un proxy de país | La pàgina real de resultats que veuen els usuaris d'aquest país | Comprovacions periòdiques de funcions de les SERP, anuncis i resultats locals |
Trieu correctament el país i l'idioma
Els resultats de Google varien segons la ubicació, l'idioma i el dispositiu. Cercar una paraula clau en anglès des del Vietnam no mostra el mateix que veu un usuari dels EUA. Un proxy per país soluciona la part de la ubicació: la consulta surt des d'una IP d'aquest país.
Més enllà de la IP, l'URL de cerca admet hl (idioma de la interfície) i gl (país preferit), per exemple hl=en&gl=us o hl=vi&gl=vn. Utilitzeu una IP i paràmetres coincidents en un navegador net sense la sessió de Google iniciada, de manera que el vostre propi historial no personalitzi els resultats. Comprovació de resultats de Google per país aprofundeix en les comprovacions manuals.
- Mercat vietnamita: una IP del Vietnam amb
hl=vi&gl=vn. - Mercat dels EUA: una IP dels EUA amb
hl=en&gl=us. - Altres mercats: hi ha IPv4 disponible al Japó, Corea del Sud, Singapur i Hong Kong, a més del Regne Unit.
- Els resultats a nivell de ciutat no depenen només de la IP, i els proxys de VinaProxy no ofereixen selecció per ciutat o estat.
Amb quina freqüència n'hi ha prou?
Els rànquings orgànics rarament canvien de manera significativa hora rere hora. Per a la majoria de projectes, les comprovacions setmanals mostren la tendència, amb comprovacions diàries per a les paraules clau més importants o just després d'una actualització de contingut. Comprovar-ho més sovint només genera soroll i augmenta el risc de bloqueig.
Si feu comprovacions petites a través d'un proxy, manteniu un ritme baix: poques consultes, ben espaiades, sense fils paral·lels en una mateixa IP, i atureu-vos quan aparegui una pàgina de verificació en lloc d'insistir. Límits de freqüència en web scraping i proxys i CAPTCHA expliquen per què la rapidesa és contraproduent.
Configuració de comprovacions manuals de SERP amb un proxy
- Creeu un perfil de navegador per país, sense la sessió de Google iniciada, amb el proxy d'aquest país. La configuració s'explica a la guia de proxys per a Chrome o a la guia de SwitchyOmega.
- Configureu l'idioma i la zona horària del navegador perquè coincideixin amb el país de la IP.
- Obriu quina és la meva IP al perfil per confirmar la IP i el país.
- Cerqueu amb els paràmetres
hliglcorrectes, i anoteu la posició, les funcions de les SERP (fragments destacats, People Also Ask, mapes, compres) i els anuncis. - Deseu captures de pantalla amb data per comparar setmana a setmana.
- Quan la llista de paraules clau creixi, passeu a una eina de seguiment de rànquings o a una API amb llicència en lloc d'accelerar les comprovacions manuals.
Quins proxys s'adapten millor a les comprovacions de SERP
Les comprovacions de SERP no requereixen iniciar sessió, per la qual cosa una adreça IPv4 dedicada de centre de dades sol ser suficient: ràpida, ample de banda il·limitat, el país correcte i d'ús exclusiu per a vosaltres. Que sigui dedicada és important, ja que els proxys compartits o gratuïts sovint ja estan marcats per Google a causa de consultes automatitzades d'altres usuaris, i us apareixerà una pàgina de verificació a la primera cerca.
Si la vostra eina de seguiment admet proxys personalitzats, les adreces IPv4 fixes mantenen els resultats coherents entre comprovacions. Vegeu proxys per al seguiment de rànquings SEO i el cas d'ús de seguiment de SERP.
Preguntes freqüents
Fer scraping de Google infringeix les seves condicions?
Les condicions de Google restringeixen les consultes automatitzades. Per a les dades del vostre propi lloc web, utilitzeu Search Console. Per a dades a gran escala, feu servir una API amb llicència o un proveïdor de dades i llegiu atentament les seves condicions.
Per què els meus resultats difereixen de la meva eina de seguiment?
La ubicació, l'idioma, el dispositiu i la personalització del compte són diferents. Comproveu-ho amb un perfil net i desconnectat mitjançant un proxy i els paràmetres hl i gl corresponents al país correcte.
Puc triar un proxy de ciutat per a resultats locals?
Els proxys de VinaProxy es trien per país, no pas per ciutat o estat. Per a resultats locals a nivell de ciutat, utilitzeu una eina de rànquings que admeti ubicacions detallades.
Proxys IPv4 o ISP per a comprovacions de SERP?
Una adreça IPv4 privada sol ser suficient, ja que no inicieu sessió. Considereu els proxys ISP només si continueu rebent verificacions tot i mantenir un ritme lent i una IP dedicada.
Amb quina freqüència he de comprovar els rànquings?
Setmanalment per a la majoria de paraules clau, diàriament per a un grup prioritari o després d'actualitzacions de contingut. Les comprovacions més freqüents només aporten soroll.
Vegeu Google com els usuaris de 7 països
Proxys IPv4 privats al Vietnam, els EUA, el Japó, Corea del Sud, Singapur, el Regne Unit i Hong Kong. IP fixes, ample de banda il·limitat i activació automàtica.
Veure preus