Kort antwoord
Hoeveel GB aan proxyverkeer heb ik nodig om 1.000 pagina's te scrapen?
Ongeveer 0,05 GB voor 1.000 gecomprimeerde HTML-pagina's, ongeveer 0,5 GB met een headless browser die afbeeldingen blokkeert, en ongeveer 2,2 GB voor 1.000 volledig gerenderde pagina's, gebaseerd op de HTTP Archive Web Almanac 2025 mediaan van 2.164 KB per mobiele pagina. Vermenigvuldig met je prijs per GB: CrawlRelay residentieel verkeer kost US$ 0,50/GB vanaf 50 GB en verloopt nooit. Zonder KYC. Betaal in crypto.
Verkeer rekenen in één oogopslag
| Formule | GB = pagina's × gemiddelde gecomprimeerde KB per pagina ÷ 1.000.000 |
|---|---|
| Mediaan paginagewicht, alle bronnen | 2.164 KB op mobiel, 2.412 KB op desktop (Web Almanac 2025, crawl juli 2025) |
| Mediaan HTML | 22 KB op homepagina's; 33–35 KB in een andere maat van hetzelfde hoofdstuk |
| Eenheden | 1 GB = 1.000.000.000 bytes (decimaal, de eenheid waarin CrawlRelay factureert); 1 GiB = 1.073.741.824 bytes |
| Grootste besparing | Haal HTML of JSON op in plaats van rendering; blokkeer afbeeldingen, lettertypen en media bij rendering |
| CrawlRelay prijs | US$ 1,50 voor 1 GB; US$ 0,50/GB vanaf 50 GB |
Hoeveel GB en euro's per 1.000 pagina's?
Typische gecomprimeerde groottes per paginatype. De drie kostkolommen gebruiken referentieprijzen per GB zodat je de prijs van iedere provider kunt aflezen; CrawlRelay's eigen prijs is US$ 0,50/GB vanaf 50 GB.
| Wat je ophaalt | ≈ KB per pagina | GB per 1.000 pagina's | Voor $0,50/GB | Voor $1,00/GB | Voor $3,50/GB |
|---|---|---|---|---|---|
| JSON API-respons | 10 | 0.01 | $0.005 | $0.01 | $0.035 |
| HTML-pagina, gecomprimeerd | 50 | 0.05 | $0.025 | $0.05 | $0.18 |
| Zware HTML (grote inline scripts) | 150 | 0.15 | $0.075 | $0.15 | $0.53 |
| Headless browser, afbeeldingen, lettertypen en media geblokkeerd | 500 | 0.5 | $0.25 | $0.50 | $1.75 |
| Volledige weergave, mediane mobiele pagina | 2,164 | 2.16 | $1.08 | $2.16 | $7.57 |
$3,50/GB is de mediane lijstprijs bij 10 GB in onze oktober 2026 prijsindex. Pagina gewichten van het HTTP Archive Web Almanac 2025 en typische gecomprimeerde groottes; meet je eigen pagina's.
Hoe meet ik mijn eigen pagina's?
Haal een steekproef van 100 tot 1.000 echte URL's via de proxy, tel de ontvangen bytes op de lijn bij elkaar op en extrapoleer. httpx's num_bytes_downloaded telt gecomprimeerde bytes, wat dicht bij de proxy-facturering ligt. Voeg een paar kilobytes per nieuwe verbinding toe voor de TLS-handshake als je het IP-adres bij elk verzoek roteert.
import statistics
import httpx
PROXY = "http://USERNAME-country-us:[email protected]:7777"
SAMPLE = ["https://example.com/", "https://example.org/", "https://example.net/"] # use 100+ real URLs
sizes = []
with httpx.Client(proxy=PROXY, timeout=httpx.Timeout(30.0, connect=10.0), follow_redirects=True) as client:
for url in SAMPLE:
try:
r = client.get(url)
sizes.append(r.num_bytes_downloaded)
except httpx.HTTPError:
pass
if sizes:
mean = statistics.mean(sizes)
print("pages measured:", len(sizes))
print("mean bytes per page: %.0f" % mean)
print("GB per 1,000 pages: %.3f" % (mean * 1000 / 1e9))
print("GB for 1 million pages: %.1f" % (mean * 1_000_000 / 1e9))Welk plan past bij welk project?
Zet je paginatel in gigabytes om en kies dan het plan dat dit dekt. Met HTML van ongeveer 50 KB per pagina:
| Project | Pagina's | Dataverkeer | CrawlRelay plan |
|---|---|---|---|
| Test een nieuw doel | 5,000 | ≈0,25 GB | 1 GB (US$ 1,50) |
| Kleine monitor, één maand | 100,000 | ≈5 GB | 5 GB (US$ 3,75) of 10 GB (US$ 5,94) |
| Cataloguscrawl | 1 miljoen | ≈50 GB | 50 GB (US$ 25) |
| Multi-site corpus | 10 miljoen | ≈500 GB | 500 GB (US$ 250) |
| Groot AI-corpus | 20 miljoen | ≈1 TB | 1 TB (US$ 500) |
Dataverkeer verloopt nooit, dus je kunt het grotere plan één keer kopen en over meerdere maanden gebruiken.
Hoe verminder ik proxy-verkeer zonder data te verliezen?
- Haal de data op, niet de pagina. Als een site haar JSON endpoints documenteert of toestaat, zijn die een fractie van de HTML.
- Render alleen wanneer het moet. Een headless browser laadt scripts, stijlen, afbeeldingen en lettertypen; gewone HTTP laadt één document.
- Blokkeer zware bronnen in browsers: afbeeldingen, lettertypen en media zijn het grootste deel van de pagina bytes.
- Houd compressie aan. Stuur
Accept-Encoding: gzip, br; de meeste clients doen dat standaard. - Sla ongewijzigde pagina's over met
If-None-MatchofIf-Modified-Since: een304kost een paar honderd bytes. - Dupliceer URL's niet voordat je ze in de wachtrij zet: trackingparameters en sessie-ID's creëren kopieën van dezelfde pagina.
- Sla ruwe responsen op zodat een parserfout nooit een tweede download nodig maakt.
Proxy-bandbreedte: vragen
Hoeveel kost het om 1 miljoen pagina's te scrapen met residentiële proxy's?
Met gecomprimeerde HTML van ongeveer 50 KB per pagina gebruiken 1 miljoen pagina's ongeveer 50 GB. Bij CrawlRelay is dat het 50 GB plan, US$ 25, per oktober 2026. Elke pagina renderen in een browser van mediane 2 MB zou ongeveer 2 TB verbruiken, dus de ophaalmethode is veertig keer belangrijker dan de provider.
Tellen residentiële proxy's upload- en downloadverkeer mee?
Proxy-bandbreedte telt de data die via de gateway voor jouw verbindingen gaat; bij scraping is vrijwel de hele response daarin inbegrepen. Verzoeken met grote inhoud, zoals bestand uploads, voegen hun eigen grootte toe. Bij CrawlRelay: Verbruik telt alle data die verstuurd en ontvangen wordt via de proxy (upload en download, inclusief headers). 1 GB = 1.000.000.000 bytes. Mislukte verbindingspogingen voordat de doelserver bereikt is, worden niet meegeteld.
Gebruikt een nieuw IP-adres per verzoek meer dataverkeer?
Iets wel. Elke nieuwe verbinding vereist een TLS-handshake met de website, doorgaans een paar kilobytes inclusief de certificaatketen. Bij pagina's van 50 KB is dat een paar procent; bij kleine JSON-responses kan het een groot deel zijn. Gebruik sticky sessies met keep-alive voor veel verzoeken naar één site als IP-diversiteit niet belangrijk is.
Wat is belangrijker: de prijs per GB of de GB per pagina?
GB per pagina, verreweg. Het verschil tussen alleen HTML ophalen en volledige pagina's renderen is ongeveer veertig keer, terwijl de mediane lijstprijzen slechts twee tot vijf keer zo duur zijn als de goedkoopste bij hetzelfde volume. Optimaliseer eerst de ophaalmethode, en vergelijk dan leveranciers in de prijstabel.
Bronnen (2)
- Web Almanac 2025: Pagina gewicht — HTTP Archive (2026-01-15)
- Prijsindex residentiële proxy 2026 — CrawlRelay (2026-10-13)
Koop de gigabytes die je hebt gemeten
US$ 1,50 voor 1 GB, US$ 0,50/GB van 50 GB, nooit verlopen.