Scrapy vs. Playwright: trieu l'eina adequada per a cada tipus de pàgina
Updated:
Si les dades que necessiteu ja són a l'HTML que retorna el servidor, utilitzeu Scrapy: és ràpid, lleuger i gestiona milers de pàgines amb pocs recursos. Si les dades només apareixen després d'executar JavaScript, o heu de desplaçar-vos, fer clic o iniciar sessió a través de la interfície, utilitzeu Playwright, ja que controla un navegador real. Molts projectes utilitzen tots dos: Scrapy per a la majoria de pàgines i Playwright per a les poques que són complexes. Aquesta guia mostra com saber amb quin tipus de pàgina esteu tractant, compara les dues eines segons criteris pràctics i cobreix la configuració de servidors intermediaris per a cadascuna.
Comproveu la pàgina de destinació abans de triar
Un error habitual és recórrer per defecte a un navegador per a tot perquè sempre "veu" la pàgina, pagant-ho després en velocitat i recursos del servidor. Dediqueu primer uns minuts a la pàgina de destinació.
Obtingueu la pàgina amb curl o visualitzeu el codi font (Ctrl+U) i cerqueu les dades que voleu, com ara el nom o el preu d'un producte. Si és a l'HTML, la pàgina és estàtica o renderitzada al servidor i Scrapy serà suficient. Si l'HTML és pràcticament buit i les dades només es mostren al navegador, obriu les DevTools, filtreu la pestanya Network per Fetch/XHR i mireu quina API crida la pàgina. Molts llocs web moderns carreguen dades des d'un punt final JSON; si és públic i teniu permís per utilitzar-lo, cridar-lo des de Scrapy és més ràpid que renderitzar tota la pàgina.
Comparació entre Scrapy i Playwright
| Criteri | Scrapy | Playwright |
|---|---|---|
| Què és | Framework de raspat asíncron per a Python | Biblioteca que controla Chromium, Firefox i WebKit |
| Executa JavaScript | No | Sí, com un navegador real |
| Velocitat i recursos | Molt ràpid i lleuger, moltes peticions concurrents per màquina | Més lent, cada pàgina costa la CPU i la RAM d'una pestanya del navegador |
| Interacció amb la interfície | Cap; només envia peticions HTTP | Clic, escriptura, desplaçament, espera d'elements |
| Integrat | Cues, reintents, limitació de velocitat, canonades d'exportació | Captures de pantalla, traçat, esperes de xarxa, diversos idiomes |
| Ideal per a | Llistats de productes, notícies, pàgines HTML, API JSON | SPA, desplaçament infinit, fluxos que requereixen inici de sessió per interfície |
Quan Scrapy és l'opció encertada
El punt fort de Scrapy és el volum. Escriviu una aranya i Scrapy gestiona la cua d'URL, la concurrència, els reintents, el filtratge de duplicats i l'exportació a JSON o CSV. Paràmetres com CONCURRENT_REQUESTS_PER_DOMAIN, DOWNLOAD_DELAY i AutoThrottle us permeten mantenir una interacció respectuosa amb la destinació sense codi personalitzat.
Trieu Scrapy quan les dades siguin a l'HTML o en una API JSON pública, quan necessiteu milers de pàgines o més, i quan la màquina que l'executa tingui recursos limitats. Per a unes poques desenes de pàgines, requests més BeautifulSoup pot ser encara més senzill.
Quan necessiteu Playwright
Playwright és necessari quan el contingut es construeix mitjançant JavaScript després de la càrrega, quan les dades només apareixen en fer desplaçament o clic, o quan heu d'actuar com un usuari, per exemple aplicant filtres. També és útil per comprovar com es renderitza una pàgina en un país determinat, com ara fent una captura de pantalla a través d'un servidor intermediari d'aquest país.
El cost són els recursos. Cada context del navegador consumeix una memòria important, així que no obriu centenars de pestanyes alhora. Bloquegeu imatges, tipus de lletra i vídeos amb page.route quan només necessiteu dades, i tanqueu els contextos tan bon punt hàgiu acabat. Els navegadors automatitzats també presenten trets que els llocs poden detectar; l'article per què es detecten els navegadors sense cap els explica.
Configuració de servidors intermediaris a Scrapy
- Per petició:
yield scrapy.Request(url, meta={'proxy': 'http://user:pass@ip:port'}). El programari intermediari de servidor intermediari integrat de Scrapy extreu les credencials i envia la capçalera d'autenticació. - Codifiqueu en format URL les contrasenyes que continguin caràcters especials abans de construir la cadena, o obtindreu errors 407.
- Per alternar, escriviu un petit programari intermediari de descàrrega que estableixi
request.meta['proxy']a partir de la vostra llista, o fixeu un servidor intermediari per compte quan les sessions siguin importants. - Trobareu tots els passos a la guia de configuració de servidors intermediaris a Scrapy.
Configuració de servidors intermediaris a Playwright
- Per a tot el navegador:
browser = p.chromium.launch(proxy={'server': 'http://ip:port', 'username': 'user', 'password': 'pass'}). - Per context, una IP cadascun:
context = browser.new_context(proxy={'server': 'http://ip:port', 'username': 'user', 'password': 'pass'}). Útil per executar diverses sessions en un sol procés. - Feu coincidir el
localei eltimezone_iddel context amb el país del servidor intermediari perquè les pàgines es renderitzin amb l'idioma i l'hora local correctes. - Abans de la tasca, obriu una pàgina de verificació d'IP dins d'aquest context per confirmar quina IP s'està utilitzant realment.
- Consulteu la guia de configuració de servidors intermediaris a Playwright; per a Node.js, la guia de Puppeteer funciona de la mateixa manera.
Combinació de tots dos i elecció de servidors intermediaris
El paquet scrapy-playwright permet que una aranya de Scrapy enviï la majoria de peticions mitjançant HTTP simple i derivi a un navegador només les pàgines amb un ús intensiu de JavaScript. Conserveu la cua, els reintents i les canonades de Scrapy i gasteu recursos del navegador només on calgui.
Per a qualsevol de les dues eines, els servidors intermediaris IPv4 dedicats de centre de dades solen ser suficients per a dades públiques: ràpids, amb ample de banda il·limitat i utilitzats exclusivament per vós. Trieu el país que coincideixi amb el contingut; l'IPv4 està disponible a 7 països, inclosos Vietnam, els Estats Units i el Japó. Sigui quina sigui l'eina, respecteu el fitxer robots.txt i les condicions del lloc, i mantingueu un ritme raonable tal com es descriu a límits de freqüència en el raspat web.
Preguntes freqüents
Pot Scrapy raspar llocs web fets amb React o Vue?
Només si la pàgina es renderitza al servidor o les dades provenen d'una API JSON que podeu cridar directament. Si les dades només existeixen després d'executar JavaScript en un navegador, utilitzeu Playwright o scrapy-playwright.
És Playwright molt més lent que Scrapy?
Normalment sí, perquè cada pàgina es carrega i s'executa com en un navegador real. A la mateixa màquina, Scrapy gestiona moltes més pàgines simultàniament.
Hauria de tenir cada context de Playwright el seu propi servidor intermediari?
Sí, si cada context representa una sessió o un compte. Les galetes i la IP es mantenen unides i cap sessió no salta entre IP diferents.
Admeten SOCKS5 els servidors intermediaris a Playwright?
Els servidors intermediaris de VinaProxy utilitzen HTTP/HTTPS amb autenticació d'usuari i contrasenya, que Playwright admet plenament mitjançant les opcions de servidor, nom d'usuari i contrasenya.
I què passa amb Selenium?
Selenium també controla un navegador real i admet servidors intermediaris; Playwright sol ser més net a l'hora d'esperar elements i gestionar servidors intermediaris autenticats. Utilitzeu la guia de Selenium si el vostre projecte ja en depèn.
Servidors intermediaris dedicats per a Scrapy i Playwright
IPv4 privada de centre de dades a 7 països mitjançant HTTP/HTTPS amb autenticació d'usuari i contrasenya, ample de banda il·limitat i activació automàtica després del pagament.
Consulta els preus