כיצד להגדיר ולבצע רוטציית פרוקסי ב-Python Scrapy

Updated: 2026-11-05

מנוע Twisted האסינכרוני של Scrapy כולל HttpProxyMiddleware מובנה (בעדיפות 750) שמפענח מחרוזות http://user:pass@ip:port המוקצות ל-request.meta['proxy']. כתיבת Downloader Middleware מותאם אישית בן 10 שורות בעדיפות 740 מאפשרת לספיידרים שלכם לבצע רוטציה אוטומטית בין כתובות IP סטטיות ללא הגבלה של VinaProxy.

Scrapy · HTTP Proxy Format

request.meta['proxy'] = 'http://user:pass@ip:port'

IPv4 פרטי (datacenter)

🇺🇸 ארצות הברית

זמין במלאי

החל מ-

‏20,000 ‏₫ / IP / חודש

≈ ‏0.74 ‏$ · החיוב ב-VND

תמחור לפי כמות

1 IP‏40,000 ‏₫
5+ כתובות IP‏35,000 ‏₫
10+ כתובות IP‏25,000 ‏₫
20+ כתובות IP‏25,000 ‏₫
50+ כתובות IP‏25,000 ‏₫
100+ כתובות IP‏25,000 ‏₫
200+ כתובות IP‏25,000 ‏₫
500+ כתובות IP‏25,000 ‏₫
1000+ כתובות IP‏22,000 ‏₫
2000+ כתובות IP‏20,000 ‏₫

קנייה ב-ארצות הברית

IPv4 פרטי (datacenter)

🇬🇧 הממלכה המאוחדת

זמין במלאי

החל מ-

‏20,000 ‏₫ / IP / חודש

≈ ‏0.74 ‏$ · החיוב ב-VND

תמחור לפי כמות

1 IP‏40,000 ‏₫
5+ כתובות IP‏35,000 ‏₫
10+ כתובות IP‏25,000 ‏₫
20+ כתובות IP‏25,000 ‏₫
50+ כתובות IP‏25,000 ‏₫
100+ כתובות IP‏25,000 ‏₫
200+ כתובות IP‏25,000 ‏₫
500+ כתובות IP‏25,000 ‏₫
1000+ כתובות IP‏22,000 ‏₫
2000+ כתובות IP‏20,000 ‏₫

קנייה ב-הממלכה המאוחדת

IPv4 פרטי (datacenter) · ארצות הברית →IPv4 פרטי (datacenter) · הממלכה המאוחדת →Free Proxy Checker →

פרוקסי לפי פלטפורמה:web-scraping seo-rank-tracking amazon

סדר ה-Middleware והגדרות הבקשות המקבילות לפרוקסי ב-Scrapy

מכיוון ש-HttpProxyMiddleware פועל בסדר 750 כדי להסיר את user:pass מכתובת ה-URL של הפרוקסי ולקודד את כותרת ה-Proxy-Authorization, כל Middleware מותאם אישית שמגדיר את request.meta['proxy'] חייב לרוץ במספר נמוך יותר (למשל, 740):

הגדרת Scrapy	ערך מומלץ	מטרה
`request.meta['proxy']`	`'http://user:pass@ip:port'`	מנתב את הבקשה דרך פרוקסי VinaProxy שצוין
עדיפות Middleware	`740` (לפני `750`)	מבטיח ש-`HttpProxyMiddleware` יקודד את כותרת ה-`user:pass`
`CONCURRENT_REQUESTS_PER_IP`	`2` עד `4`	מגביל סוקטים מקבילים לכל כתובת IP של פרוקסי כדי למנוע שגיאות HTTP 429
`AUTOTHROTTLE_ENABLED`	`True`	מתאים באופן דינמי את השהיית הסריקה בהתבסס על זמני התגובה של שרת היעד

שיטות מומלצות לסריקות Scrapy בנפח גבוה

טענו את רשימת הפרוקסי של VinaProxy ב-from_crawler() והקצו request.meta['proxy'] = random.choice(self.proxies) בתוך process_request()
הפעילו RANDOMIZE_DOWNLOAD_DELAY = True לצד DOWNLOAD_DELAY = 1.0 כדי שמרווחי הבקשות לכל IP לעולם לא ייראו רובוטיים
בניסיון חוזר (429 או 503), בחרו פרוקסי אחר מהמאגר שלכם לפני החזרת הבקשה לתור

שלב אחר שלב

1
פרמטו את מאגר הפרוקסי שלכם לפורמט http://user:pass@ip:port
הדביקו את רשימת ה-VinaProxy שלכם אל Proxy Format Converter כדי לקבל מחרוזות URL.
2
צרו ProxyPoolMiddleware בקובץ middlewares.py
הגדירו את process_request(self, request, spider) כדי להגדיר request.meta['proxy'] = random.choice(self.proxies).
3
רשמו בעדיפות 740 בקובץ settings.py
הוסיפו את 'myproject.middlewares.ProxyPoolMiddleware': 740 תחת DOWNLOADER_MIDDLEWARES והגדירו CONCURRENT_REQUESTS_PER_IP = 2.
4
בדקו באמצעות scrapy shell או scrapy crawl
הריצו בקשת בדיקה מול https://vinaproxy.com/api/my-ip כדי לוודא רוטציה ואימות תקינים.

שאלות נפוצות

מדוע ה-Middleware המותאם אישית לפרוקסי ב-Scrapy נכשל כשהוגדר בעדיפות 800?

ה-HttpProxyMiddleware המובנה של Scrapy פועל בעדיפות 750. אם ה-Middleware שלכם פועל ב-800 (אחרי 750), פרטי הגישה user:pass המוטמעים לעולם לא מומרים לכותרת Proxy-Authorization. הגדירו תמיד את עדיפות ה-Middleware שלכם מתחת ל-750 (למשל 740).

האם Scrapy שומר על חיבורים פתוחים רציפים לכל פרוקסי?

כן. מאגר החיבורים של Twisted מנהל חיבורי keep-alive רציפים לכל נקודת קצה של פרוקסי.

האם שרתי הפרוקסי של VinaProxy הם ללא הגבלת נפח עבור משימות Scrapy של מיליוני דפים?

כן. כל חבילות ה-Dedicated IPv4 ו-Static ISP כוללות רוחב פס חודשי ללא הגבלה.