Detecció de navegadors headless: què veuen els llocs web i com configurar-los amb seny
Updated:
Els navegadors headless es detecten perquè deixen rastres que el navegador d'un usuari normal no deixa: navigator.webdriver definit com a true, un User-Agent que conté HeadlessChrome en el mode antic, una mida de finestra per defecte, un renderitzador gràfic per programari, una zona horària que no coincideix amb la IP i una sincronització de precisió robòtica. Un proxy només canvia l'adreça IP; no amaga cap d'aquests elements. L'enfocament assenyat és fer que el navegador sigui coherent amb el proxy, mantenir les sessions estables i operar a un ritme moderat, en lloc d'intentar falsejar-ho tot. Aquesta guia recull els senyals habituals, com comprovar la vostra pròpia configuració i els ajustos recomanats per a Playwright, Puppeteer i Selenium.
Què és un navegador headless i per què importa als llocs web
Un navegador headless s'executa sense una finestra visible i es controla mitjançant codi a través d'eines com Playwright, Puppeteer o Selenium. Té molts usos legítims: proves d'interfície d'usuari, captures de pantalla, generació de PDF o monitoratge de preus públics. També és una de les eines preferides dels bots de correu brossa i dels scrapers agressius, de manera que molts llocs web utilitzen sistemes antibot per detectar-lo.
Els sistemes antibot rarament depenen d'un únic senyal. En combinen molts de petits en una puntuació de risc i, a continuació, permeten l'accés, plantegen un repte o bloquegen. Un sol indici poques vegades és suficient per bloquejar-vos, però és gairebé segur que diversos senyals contradictoris cridaran l'atenció.
Senyals habituals d'un navegador headless
| Senyal | Què veu el lloc web | Nota |
|---|---|---|
navigator.webdriver | True quan el navegador s'executa sota automatització | Forma part de l'estàndard WebDriver; les eines d'automatització solen activar-lo |
| User-Agent | Conté HeadlessChrome en el mode headless antic | El nou mode headless de Chrome utilitza un UA gairebé normal |
| Viewport i pantalla | La mida de finestra per defecte de l'eina, pantalla que no coincideix amb la finestra | Pocs usuaris reals tenen exactament la mida per defecte |
| WebGL i tipus de lletra | Renderitzador per programari, un conjunt de tipus de lletra inusualment reduït | Habitual en servidors Linux sense GPU |
| Idioma i zona horària | Llengües buides o UTC mentre la IP és al Vietnam | Un conflicte entre la IP i l'entorn |
| Comportament | Sense moviment de ratolí, sense desplaçament, clics instantanis, ritme constant | El comportament sovint importa més que els trets tècnics |
| Sessió | Cada execució és un navegador net sense galetes | Els usuaris reals tornen amb historial |
Comproveu com es veu el vostre navegador
- Al navegador automatitzat, obriu quina és la meva IP per confirmar que la IP i el país que veu el lloc web pertanyen al vostre proxy.
- Executeu
page.evaluate('navigator.webdriver'),navigator.languagesiIntl.DateTimeFormat().resolvedOptions().timeZone, imprimiu els resultats i compareu-los amb el país de la IP. - Feu una captura de pantalla de la pàgina de destinació amb la vostra configuració actual per veure si us redirigeixen a un repte.
- Comproveu si hi ha filtracions de WebRTC amb la prova de filtració de WebRTC, especialment en mode amb interfície gràfica.
- Compareu-ho amb la mateixa pàgina en un navegador normal amb el mateix proxy. Si el navegador normal pot accedir-hi i l'automatitzat no, el problema és el navegador, no la IP.
Configuració recomanada per a Playwright i Puppeteer
Busqueu la coherència: tot el que el navegador reporti sobre si mateix ha de coincidir, i també ha de coincidir amb la IP. No cal falsejar dotzenes de propietats; una manipulació excessiva sovint afegeix contradiccions.
- Utilitzeu el nou mode headless de Chrome o executeu-lo amb interfície (
headless=False) en una pantalla virtual quan calgui, en lloc del mode headless antic. - Definiu un viewport habitual com ara
viewport={'width': 1366, 'height': 768}en lloc del valor per defecte. - Definiu
locale='vi-VN'itimezone_id='Asia/Ho_Chi_Minh'amb un proxy del Vietnam, i una configuració regional i zona horària dels EUA amb un proxy dels EUA. - Mantingueu el User-Agent fidel al navegador que executeu. Declarar una altra versió o sistema operatiu mentre el motor continua sent el mateix és una contradicció fàcil de detectar.
- Utilitzeu un directori de perfil persistent (
launch_persistent_contexta Playwright,userDataDira Puppeteer) per mantenir les galetes entre execucions. - Assigneu un únic proxy per sessió o compte; consulteu la configuració de proxy a Playwright i la configuració de proxy a Puppeteer.
- Afegiu pauses naturals entre accions i espereu que les pàgines acabin de carregar en lloc de fer clic a l'instant.
Un apunt sobre els stealth plugins
Els connectors de la comunitat modifiquen un ventall de propietats perquè els navegadors automatitzats semblin ordinaris. Poden ser útils per a proves legítimes, però no fan miracles: els sistemes antibot canvien constantment, i les solucions desactualitzades poden convertir-se elles mateixes en una empremta digital. Més important encara: utilitzar-los per eludir la protecció d'un lloc web per fer alguna cosa que el lloc prohibeix continua sent una infracció de les condicions d'ús, per molt bé que funcioni a escala tècnica.
Si us bloquegen repetidament malgrat una configuració assenyada i un ritme lent, preneu-ho com la resposta del lloc web. Cerqueu una API oficial, limiteu les dades que necessiteu o contacteu amb el propietari del lloc. A Proxies i CAPTCHA s'analitzen aquests límits amb més detall.
El paper del proxy
El proxy determina la IP, el país i el tipus de xarxa que veu un lloc web. Una IP dedicada neta elimina els senyals negatius heretats d'altres usuaris i us permet fer coincidir la zona horària i l'idioma amb una ubicació real. No pot solucionar navigator.webdriver, el viewport ni el comportament. Tots dos han de treballar conjuntament.
Per a l'extracció de dades públiques, les adreces IPv4 privades solen ser suficients. Per a comptes valuosos gestionats a través d'un navegador, els proxys ISP estàtics al Vietnam o als Estats Units s'assemblen més a una connexió domèstica. Per saber com els llocs web avaluen les IP, llegiu com detecten els llocs web els proxies; pel que fa a l'apartat del navegador, llegiu l'explicació de l'empremta digital del navegador.
Preguntes freqüents
Executar amb headless=False atura la detecció?
No necessàriament. El mode amb interfície gràfica elimina alguns senyals, però navigator.webdriver, el comportament i els conflictes entre IP i zona horària continuen presents. Tota la configuració ha de ser coherent.
Canviar de proxy evitarà que es bloquegi el meu navegador headless?
Només si la IP és la causa principal, com ara una IP compartida amb un mal historial. Si el lloc web reconeix patrons d'automatització al navegador, una nova IP no servirà de res.
Quina zona horària i quin idioma hauria d'utilitzar amb un proxy del Vietnam?
Definiu la configuració regional vi-VN i la zona horària Asia/Ho_Chi_Minh al context del navegador perquè l'entorn coincideixi amb la ubicació de la IP.
En què es diferencia un navegador antidetect d'un navegador headless?
Un navegador antidetect gestiona molts perfils amb empremtes digitals independents, generalment operats manualment per a comptes. Un navegador headless es controla mitjançant codi per a automatitzacions. Tots dos necessiten un proxy que coincideixi amb la seva configuració.
Hi ha alguna configuració que mai es detecti?
No. Els sistemes antibot canvien constantment i cap configuració ni tipus de proxy ho garanteix. Opereu a un ritme moderat, amb coherència i dins del que el lloc web permet.
Proxies dedicats que coincideixen amb la configuració del vostre navegador
IPv4 privada a 7 països i ISP estàtic al Vietnam i als EUA. HTTP/HTTPS amb usuari i contrasenya, a punt per a Playwright, Puppeteer i Selenium.
Vegeu els preus