AI trainingsdata
Multi-terabyte openbare webcorpora: circa 50 GB per miljoen HTML-pagina's, robots.txt en AI opt-outs, filtering van persoonlijke data.
Kort antwoord
Waar worden residentiële proxy's door ontwikkelaars voor gebruikt?
Ontwikkelaars gebruiken CrawlRelay residentiële proxy's om openbare webdata te verzamelen vanaf de locatie die telt: AI-trainingscorpora, pagina-opvraging voor AI-agents, locatie-accurate controles van zoek- en advertentiepagina's, en e-commercede prijsbewaking. Traffic kost US$ 1,50 voor 1 GB en US$ 0,50/GB vanaf 50 GB, sinds oktober 2026, en verloopt nooit. Betaald in crypto, zonder KYC.
Gebruiksscenario's
AI agents
Een veilige fetch-tool en een MCP-server via residentiële exits, met per-taak sessies en veiligheidsmarges.
SERP- en rank-controles
Wat in 2026 nog werkt: Google's robots.txt, de rechtszaken, de blokkades, en stad-accurate controles van je eigen pagina's.
Prijsmonitoring
Lokale prijzen, voorraad en levertijden per land, JSON-LD extractie, traffic per product per maand.
Welke setup past bij elke use case?
| Use case | Type proxy | Sessies | Typische traffic |
|---|---|---|---|
| AI trainingsdata | Residentiële | Roteer; sticky alleen voor paginering | 30–60 GB per miljoen HTML-pagina's |
| AI agents | Residentieel; mobiel voor alleen mobiele views | Eén sticky sessie per taak | ≈1 MB per taak van 20 pagina's in HTML |
| SERP- en rank-controles | Residentieel met city targeting | Één korte sessie per stadcontrole | Klein: een paar pagina's per controle |
| Prijsmonitoring | Residentieel per markt | Roteer tussen producten; sticky binnen een flow | ≈1,8 MB per product per maand, dagelijkse controles |
Wat hebben al deze use cases gemeen?
Openbare data, verzameld in een tempo dat de site accepteert, vanaf de plek waar de data verschilt. Elk CrawlRelay account werkt onder hetzelfde Acceptable Use Policy: geen inlog op accounts die je niet bezit, geen persoonlijke data verzameld in strijd met de wet, geen pogingen om bewuste siteblokkades te omzeilen, en een gateway die Bank-, overheid- en betaalpoortsites, plus SMTP (e-mailverzenden) poorten 25, 465 en 587 weigert.
De technische gewoonten zijn ook gedeeld: identificeer je crawler, beperk gelijktijdigheid per host, haal HTML op voordat je rendert, sla ongewijzigde pagina's over, en houd elke pijplijn op zijn eigen sub-user met een trafficcap. De docs behandelen elk met code.
Welke use cases bedient CrawlRelay niet?
Alles wat afhankelijk is van het zich voordoen als iemand anders of het omzeilen van beveiligingen: accounts aanmaken of overnemen, beperkte voorraad of tickets kopen met bots, spam verzenden, credential testing, fraude of persoonlijke data verzamelen achter inlogs. Dergelijk gebruik schendt ons beleid en was de reden dat residentiële netwerken in 2026 werden geliquideerd. We schorsen accounts die de gateway voor zulke doeleinden gebruiken.
Use cases: vragen
Kan ik CrawlRelay gebruiken voor social media data?
Alleen voor openbare pagina's, verzameld binnen de regels van het platform en de wet, en zonder in te loggen op accounts die je niet bezit. Veel social media content is persoonlijke data, check daarom eerst de juridische basis. Veel platforms bieden onderzoek of zakelijke API's; gebruik die waar ze bestaan.
Kan ik CrawlRelay gebruiken voor advertentiecontrole?
Ja. Controleren hoe je advertenties en landingspagina’s verschijnen in elk land en elke stad is een standaard gebruik van residentiële exits. Gebruik city targeting en een korte sticky sessie per controle, zoals op de SERP-pagina.
Is er een use case die mobiele proxies nodig heeft?
Controleren wat telefoongebruikers zien: mobiele sites, apps en mobiele advertenties. Roterende mobiele 4G-proxy's kosten US$ 3,18 voor 1 GB en US$ 1,50/GB vanaf 5 GB bij CrawlRelay; test ze eerst op het kleine plan voordat je meer traffic daar naartoe leidt.