Milliþjónar fyrir vefsöfnun og gagnaöflun

Hverjir nota milliþjóna við gagnaöflun

Að safna opinberum gögnum í miklu magni frá einni IP-tölu gengur sjaldnast lengi. Vefsíður takmarka hve margar fyrirspurnir eitt vistfang má senda, og virkur vefsafnari á IP-tölu skrifstofunnar getur leitt til þess að hún verði lokuð fyrir alla í húsinu.

Safn milliþjóna dreifir álaginu, gerir þér kleift að skoða hverja síðu eins og gestir frá tilteknu landi sjá hana og heldur þínu eigin neti utan við málið.

• Vefverslunarteymi sem fylgjast með verðum og birgðastöðu keppinauta
• Vísindamenn og greinendur sem safna opinberum gagnasöfnum
• Forritarar sem prófa hvernig eigin vefsíða svarar frá ólíkum löndum
• Gagnasafnarar fyrir ferðalög, fasteignir og starfsauglýsingar

Hvers vegna fastar sértækar IP-tölur henta fyrir vefsöfnun

Með föstum milliþjónum stýrir þú snúningi sjálfur. Vefsafnarinn velur IP-tölu af listanum þínum fyrir hverja fyrirspurn eða lotu, svo þú veist nákvæmlega hvaða IP-tala gerði hvað og getur tekið út þær sem verða fyrir tíðnitakmörkun.

Þar sem hver IP-tala er tileinkuð einum viðskiptavini ræðst orðspor hennar af þinni eigin notkun, en ekki því sem aðrir notendur gerðu á undan þér. Gagnamagn er ótakmarkað, þannig að stórar síður, myndir eða löng skrið valda ekki aukakostnaði.

• Fyrirsjáanlegt: sömu IP-tölur allan leigutímann, auðvelt að setja á hvítlista í verkfærunum þínum
• Hreint: enginn annar viðskiptavinur deilir IP-tölunum þínum
• Ótakmarkað gagnamagn: enginn kostnaður á hvert gígabæt
• Hentugt fyrir lotur: haltu einni IP-tölu fyrir innskráða lotu eða innkaupakörfu og skiptu svo

Hvaða tegund milliþjóna á að velja fyrir vefsöfnun

Byrjaðu á gagnavers-IP og færðu þig aðeins yfir í ISP ef síða lokar á þær. Veldu landið sem á við útgáfu síðunnar sem þú vilt sjá.

Ráðlögð uppsetning fyrir vefsöfnun

Milliþjónarnir okkar nota HTTP/HTTPS með notandanafni og lykilorði, sem öll helstu forritasöfn og tól fyrir vefsöfnun styðja. Flyttu út listann þinn úr Orders á sniðinu ip:port:user:pass og hladdu honum inn í vefsafnarann þinn.

• Aðlagaðu safnið að fyrirspurnatíðni þinni; fleiri IP-tölur með minni hraða á hverja IP er betra en fáar IP-tölur sem eru keyrðar hart.
• Skiptu um IP-tölur í eigin kóða, en haltu einni IP-tölu fyrir hverja innskráningar- eða körfulotu.
• Sendu raunverulega hausa, bættu við töfum og dragðu úr álagi við HTTP 429 eða 403 svör.
• Prófaðu hverja IP-tölu með prófunarverkfæri milliþjóna og taktu hægar eða lokaðar tölur úr umferð.
• Fyrir skjáborðsforrit sem vantar stillingar fyrir milliþjóna skaltu beina þeim í gegnum Proxifier.

Stundaðu ábyrga vefsöfnun og forðastu algeng mistök

Milliþjónn breytir því hvaðan fyrirspurnir koma; hann breytir ekki því hvað þér er heimilt að safna. Fylgdu robots.txt, skilmálum síðunnar og persónuverndarlögum sem eiga við um þig, og safnaðu aldrei persónuupplýsingum sem þú hefur ekki rétt til að vinna með.

• Að keyra mikinn fjölda samhliða fyrirspurna á vefsíðu þar til hún hægir á sér eða lokar á alla
• Að skafa síður á bak við innskráningu með aðgöngum sem þú átt ekki
• Að hunsa robots.txt og notkunarskilmála; alvarleg misnotkun brýtur einnig gegn skilmálum okkar
• Að nota ISP-milliþjóna í allt þegar gagnavers-IP myndi vinna verkið hraðar
• Að athuga aldrei svörunina, svo lokaðar síður og captchar lendi í gögnunum þínum

Algengar spurningar