VVinaProxy

Com configurar i rotar proxies a Python Scrapy

Updated:

El motor asíncron Twisted de Scrapy inclou un HttpProxyMiddleware integrat (amb prioritat 750) que analitza cadenes http://user:pass@ip:port assignades a request.meta['proxy']. Escriure un Downloader Middleware personalitzat de 10 línies amb prioritat 740 permet que les teves aranyes rotin automàticament entre un grup d'IPs estàtiques il·limitades de VinaProxy.

Scrapy · HTTP Proxy Format
request.meta['proxy'] = 'http://user:pass@ip:port'
IPv4 privada (centre de dades)
🇺🇸 Estats Units
Disponible
Des de
20.000 ₫ / IP / mes
≈ 0,74 USD · facturat en VND
Preus per volum
  • 1 IP40.000 ₫
  • 5+ IPs35.000 ₫
  • 10+ IPs25.000 ₫
  • 20+ IPs25.000 ₫
  • 50+ IPs25.000 ₫
  • 100+ IPs25.000 ₫
  • 200+ IPs25.000 ₫
  • 500+ IPs25.000 ₫
  • 1000+ IPs22.000 ₫
  • 2000+ IPs20.000 ₫
Comprar Estats Units
IPv4 privada (centre de dades)
🇬🇧 Regne Unit
Disponible
Des de
20.000 ₫ / IP / mes
≈ 0,74 USD · facturat en VND
Preus per volum
  • 1 IP40.000 ₫
  • 5+ IPs35.000 ₫
  • 10+ IPs25.000 ₫
  • 20+ IPs25.000 ₫
  • 50+ IPs25.000 ₫
  • 100+ IPs25.000 ₫
  • 200+ IPs25.000 ₫
  • 500+ IPs25.000 ₫
  • 1000+ IPs22.000 ₫
  • 2000+ IPs20.000 ₫
Comprar Regne Unit

Ordre del middleware de proxy i paràmetres de concurrència a Scrapy

Com que HttpProxyMiddleware s'executa a l'ordre 750 per extreure user:pass de l'URL del proxy i codificar la capçalera Proxy-Authorization, qualsevol middleware personalitzat que defineixi request.meta['proxy'] s'ha d'executar amb un número inferior (p. ex., 740):

Paràmetre de ScrapyValor recomanatObjectiu
request.meta['proxy']'http://user:pass@ip:port'Encamina la petició a través del proxy de VinaProxy especificat
Prioritat del middleware740 (abans de 750)Garanteix que HttpProxyMiddleware codifiqui la capçalera user:pass
CONCURRENT_REQUESTS_PER_IPDe 2 a 4Limita els sòcols simultanis per IP de proxy per evitar l'error HTTP 429
AUTOTHROTTLE_ENABLEDTrueAdapta dinàmicament el retard del rastreig segons la latència de l'objectiu

Bones pràctiques per a rastrejos de gran volum amb Scrapy

  • Carrega la llista de proxies de VinaProxy a from_crawler() i assigna request.meta['proxy'] = random.choice(self.proxies) dins de process_request()
  • Activa RANDOMIZE_DOWNLOAD_DELAY = True juntament amb DOWNLOAD_DELAY = 1.0 perquè els intervals de petició per IP mai semblin robòtics
  • En cas de reintent (429 o 503), tria un proxy diferent del teu grup abans de tornar a posar la petició a la cua

Pas a pas

  1. 1

    Formata el teu grup de proxies com a http://user:pass@ip:port

    Enganxa la teva llista de VinaProxy al nostre Proxy Format Converter per obtenir cadenes d'URL.

  2. 2

    Crea un ProxyPoolMiddleware a middlewares.py

    Defineix process_request(self, request, spider) per establir request.meta['proxy'] = random.choice(self.proxies).

  3. 3

    Registra'l amb prioritat 740 a settings.py

    Afegeix 'myproject.middlewares.ProxyPoolMiddleware': 740 sota DOWNLOADER_MIDDLEWARES i defineix CONCURRENT_REQUESTS_PER_IP = 2.

  4. 4

    Fes una prova amb scrapy shell o scrapy crawl

    Executa una petició de prova contra https://vinaproxy.com/api/my-ip per verificar la rotació i l'autenticació.

Preguntes freqüents

Per què ha fallat el meu middleware de proxy personalitzat a Scrapy en posar-lo amb prioritat 800?

El HttpProxyMiddleware integrat de Scrapy s'executa amb prioritat 750. Si el teu middleware s'executa a 800 (després de 750), les credencials user:pass en línia mai es converteixen en una capçalera Proxy-Authorization. Configura sempre la prioritat del teu middleware per sota de 750 (com ara 740).

Scrapy manté connexions persistents obertes amb cada proxy?

Sí. El grup de connexions de Twisted manté connexions keep-alive persistents per a cada punt final de proxy.

Els proxies de VinaProxy tenen dades il·limitades per a tasques de Scrapy de milions de pàgines?

Sí. Tots els plans de Dedicated IPv4 i Static ISP inclouen amplada de banda mensual il·limitada.

Escala les teves aranyes de Scrapy amb grups d'IPs estàtiques il·limitades

Proxies Dedicated IPv4 i Static ISP a l'engròs a l'instant en 7 països.

Comprar proxies per a Scrapy

Related articles

Proxies per plataforma
Proxies per a web scraping: grups d'IPv4 dedicada i ISP sense límit per a rastrejadors 24/7
Proxies HTTP(S) d'IPv4 dedicada i ISP estàtica per a Python, Playwright, Selenium i Scrapy amb amplada de banda il·limitada. Compara plans i comença.
Configuració de proxies
Com utilitzar un proxy a Python Requests (HTTP/HTTPS i pooling de Session)
Configura proxys HTTP(S) amb autenticació a Python requests i requests.Session(). Gestiona excepcions 407 ProxyError i rota grups d'IP estàtiques.
Configuració de proxies
Com configurar un proxy a Playwright (navegador i autenticació per context)
Configureu servidors intermediaris HTTP(S) autenticats a Playwright per a Node.js i Python, i useu diverses IP estàtiques aïllades en BrowserContexts.
Eines gratuïtes
Convertidor de formats de proxy en bloc (100% al client)
Formatador de proxys en bloc 100% al client. Converteix entre ip:port:user:pass, user:pass@ip:port, URL http://, URI SOCKS5, matrius JSON i fitxers FoxyProxy.
Proxies per plataforma
Pròxies per al seguiment de SEO i SERP: rànquings precisos de paraules clau a 7 països
Rastreja el rànquing local de paraules clau, audita georedireccions i executa Screaming Frog amb pròxies IPv4 dedicats i ISP estàtics il·limitats a 7 països.
Proxies per plataforma
Proxies per a Amazon: eviteu alertes de comptes vinculats a Seller Central, KDP i Merch
Reduïu el risc de suspensions per comptes vinculats a Seller Central, KDP i Merch amb proxies ISP estàtics dels EUA i IPv4 privats del Regne Unit o el Japó.
IPV4 · united states
Pròxies IPv4 privats dels EUA: IP de datacenter nord-americanes ràpides i dedicades
Pròxies IPv4 privats EUA per a scraping, rànquings, anuncis i recerca a Amazon. IP estàtica, un usuari per IP, ample de banda il·limitat i activació ràpida.
IPV4 · united kingdom
Proxies IPv4 privats del Regne Unit: IP britàniques estàtiques de centre de dades per a venedors, SEO i anuncis
Proxies IPv4 privats dedicats del Regne Unit per a eBay UK, Amazon.co.uk, seguiment a google.co.uk, anuncis i xarxes socials. Amplada de banda il·limitada.