Πώς να ρυθμίσετε και να κάνετε rotate proxies στο Python Scrapy

Σειρά προτεραιότητας Scrapy proxy middleware & ρυθμίσεις ταυτοχρονισμού

Επειδή το HttpProxyMiddleware εκτελείται με σειρά 750 για να αφαιρέσει το user:pass από το URL του proxy και να κωδικοποιήσει την κεφαλίδα Proxy-Authorization, οποιοδήποτε προσαρμοσμένο middleware που ορίζει το request.meta['proxy'] πρέπει να εκτελείται με μικρότερο αριθμό (π.χ. 740):

Βέλτιστες πρακτικές για high-volume crawls στο Scrapy

• Φορτώστε τη λίστα proxy της VinaProxy στη μέθοδο from_crawler() και ορίστε request.meta['proxy'] = random.choice(self.proxies) μέσα στη process_request()
• Ενεργοποιήστε το RANDOMIZE_DOWNLOAD_DELAY = True μαζί με το DOWNLOAD_DELAY = 1.0, ώστε τα διαστήματα αιτημάτων ανά IP να μην φαίνονται ποτέ ρομποτικά
• Σε περίπτωση επανάληψης (429 ή 503), επιλέξτε διαφορετικό proxy από το pool σας πριν προσθέσετε ξανά το αίτημα στην ουρά

Βήμα προς βήμα

1. 1

   Μορφοποιήστε το proxy pool σας ως http://user:pass@ip:port

   Επικολλήστε τη λίστα της VinaProxy στο Proxy Format Converter για να λάβετε συμβολοσειρές URL.

2. 2

   Δημιουργήστε ένα ProxyPoolMiddleware στο middlewares.py

   Ορίστε τη μέθοδο process_request(self, request, spider) ώστε να θέτει request.meta['proxy'] = random.choice(self.proxies).

3. 3

   Δηλώστε το με προτεραιότητα 740 στο settings.py

   Προσθέστε το 'myproject.middlewares.ProxyPoolMiddleware': 740 κάτω από το DOWNLOADER_MIDDLEWARES και ορίστε CONCURRENT_REQUESTS_PER_IP = 2.

4. 4

   Δοκιμάστε με scrapy shell ή scrapy crawl

   Εκτελέστε ένα δοκιμαστικό αίτημα προς το https://vinaproxy.com/api/my-ip για να επαληθεύσετε το rotation και το authentication.

Συχνές ερωτήσεις