Web Scraping ve Veri Toplama için Proxy'ler
Updated:
Çoğu web scraping görevi için özel IPv4 veri merkezi proxy'leri fiyata göre en iyi hızı sunarken, statik ISP proxy'leri daha katı siteler için güvenilir bir alternatiftir. İstekleri atanmış bir IP havuzuna dağıtın, istek hızını makul seviyede tutun ve her sitenin robots.txt dosyasını ve kullanım şartlarını gözetin.
Veri toplama için kimler proxy kullanır
Tek bir IP üzerinden büyük ölçekte herkese açık veri toplamak nadiren uzun süre işe yarar. Siteler tek bir adresin gönderebileceği istek sayısını sınırlar ve ofis IP'nizdeki yoğun bir scraper, o IP'nin binadaki herkes için engellenmesine yol açabilir.
Bir proxy havuzu yükü dağıtır, her siteyi belirli bir ülkedeki ziyaretçilerin gördüğü gibi görmenizi sağlar ve kendi yerel ağınızı sürecin dışında tutar.
- Rakip fiyatlarını ve stok durumunu takip eden e-ticaret ekipleri
- Herkese açık veri kümeleri toplayan araştırmacılar ve analistler
- Kendi sitelerinin farklı ülkelerden nasıl yanıt verdiğini test eden geliştiriciler
- Seyahat, gayrimenkul ve iş ilanı toplayıcıları
Statik atanmış IP'ler veri kazıma için neden uygundur
Statik proxy'lerde rotasyonu kendiniz kontrol edersiniz. Scraper'ınız her istek veya oturum için listenizden bir IP seçer; böylece hangi IP'nin ne yaptığını tam olarak bilir ve istek sınırına takılan bir IP'yi devreden çıkarabilirsiniz.
Her IP tek bir müşteriye tahsis edildiğinden, IP'nin itibarı sizden önceki diğer kullanıcıların yaptıklarına değil, tamamen sizin kullanımınıza bağlıdır. Bant genişliği sınırsızdır; bu sayede büyük sayfalar, görseller veya uzun taramalar ek veri maliyeti oluşturmaz.
- Öngörülebilir: kiralama süresi boyunca aynı IP'ler, araçlarınızda izin verilenler listesine (whitelist) kolayca eklenir
- Temiz: IP'lerinizi başka hiçbir müşteri paylaşmaz
- Sınırsız bant genişliği: GB başına maliyet yok
- Oturum dostu: giriş yapılmış bir hesap veya sepet oturumu için tek bir IP kullanın, ardından geçiş yapın
Scraping için hangi proxy türü seçilmeli
Veri merkezi IP'leri ile başlayın ve yalnızca sitenin bunları engellediği durumlarda ISP'ye geçin. Sitenin hangi ülkedeki sürümünü görmeniz gerekiyorsa o ülkeyi seçin.
| Hedef | Önerilen ürün | Neden |
|---|---|---|
| Çoğu herkese açık site, API ve katalog | Özel IPv4 (veri merkezi) | En hızlı ve en uygun maliyetli seçenek; 7 ülke |
| Veri merkezi aralıklarını engelleyen siteler | Statik ISP (ABD, Vietnam) | Bir internet sağlayıcısına kayıtlı IP'ler normal kullanıcılar gibi görünür |
| IPv6 destekli sitelerin çok büyük ölçekli taramaları | IPv6 | Geniş adres alanı; önce hedefin IPv6 desteklediğini doğrulayın |
| Asya'daki yerel sonuçlar | Japonya, Kore, Singapur, Hong Kong ve Vietnam'da özel IPv4 | Siteyi yerel ziyaretçilerin gördüğü gibi görüntüleyin |
Önerilen scraping yapılandırması
Proxy'lerimiz, yaygın tüm scraping kütüphanelerinin ve araçlarının desteklediği kullanıcı adı ve şifre doğrulamalı HTTP/HTTPS protokolünü kullanır. Listenizi Siparişler bölümünden ip:port:user:pass biçiminde dışa aktarın ve scraper'ınıza yükleyin.
- Havuz boyutunu istek hızınıza göre belirleyin; IP başına daha yavaş hızda daha fazla IP kullanmak, sınırları zorlanan az sayıda IP'den her zaman daha etkilidir.
- IP rotasyonunu kendi kodunuzda yönetin, ancak her giriş veya sepet oturumu için tek bir IP'yi sabit tutun.
- Gerçekçi başlıklar (headers) gönderin, gecikmeler ekleyin ve HTTP 429 veya 403 yanıtlarında istekleri yavaşlatın.
- Her IP'yi proxy checker ile test edin; yavaşlayan veya engellenenleri rotasyondan çıkarın.
- Proxy ayarı bulunmayan masaüstü araçlarını Proxifier üzerinden yönlendirin.
Sorumlu bir şekilde kazıyın ve yaygın hatalardan kaçının
Bir proxy yalnızca isteklerin nereden geldiğini değiştirir; neleri toplama izniniz olduğunu değiştirmez. robots.txt kurallarına, sitenin şartlarına ve sizin için geçerli veri koruma mevzuatına uyun; işleme hakkınız olmayan kişisel verileri asla toplamayın.
- Bir siteyi yavaşlayana veya herkesi engelleyene kadar çok sayıda eşzamanlı istekle boğmak
- Giriş gerektiren sayfaları size ait olmayan hesaplarla kazımak
- robots.txt kurallarını ve hizmet şartlarını yok saymak; aşırı kötüye kullanım kullanım şartlarımızı da ihlal eder
- Veri merkezi IP'leri işi daha hızlı halledebilecekken her işlem için ISP proxy'leri kullanmak
- Yanıtları hiçbir zaman kontrol etmemek; bu durum engellenen sayfaların ve doğrulama kodlarının (captcha) verilerinize karışmasına neden olur
Sıkça sorulan sorular
Web scraping için veri merkezi mi yoksa ISP proxy'leri mi?
Öncelikle veri merkezi. Özel IPv4 proxy'leri daha hızlıdır ve daha fazla ülkeyi kapsar. Statik ISP proxy'lerini yalnızca veri merkezi IP aralıklarını engelleyen siteler için kullanın. Daha fazla bilgi için proxy türü karşılaştırmamızı inceleyebilirsiniz.
Scraping için dönen (rotating) proxy'lere ihtiyacım var mı?
Şart değil. Statik IP havuzuyla rotasyonu kendi kodunuzda yönetebilir, hangi isteğin hangi IP ile gönderileceğini tam olarak kontrol edebilirsiniz.
Bant genişliği sınırı var mı?
Hayır. Proxy'lerimizde bant genişliği sınırsızdır; gigabayt başına değil, IP başına aylık sabit ücret ödersiniz.
Proxy'ler SOCKS5 destekliyor mu?
Proxy'lerimiz kullanıcı adı ve şifre kimlik doğrulamalı HTTP/HTTPS protokolünü kullanır. requests, Scrapy, Puppeteer ve Playwright gibi yaygın scraping kütüphanelerinin çoğu bu protokolü doğrudan destekler. Ayrıntılar için bkz. HTTP vs SOCKS5.
Web scraping yasal mı?
Hangi verileri topladığınıza, nerede bulunduğunuza ve sitenin şartlarına bağlıdır. robots.txt kurallarına uyarak herkese açık, kişisel olmayan verileri toplamak yaygın bir uygulamadır; projeniz için geçerli kuralları mutlaka kontrol edin.
Kazıma havuzunuzu oluşturun
İhtiyacınız olan sayıda özel IPv4 proxy sipariş edin; aldığınız miktar arttıkça IP başına fiyat düşer ve bant genişliği sınırsızdır.
ABD veri merkezi proxy'lerini inceleyin