Proxy- en web scraping woordenlijst

Een proxy waarvan het exit-IP hoort bij een thuisinternetverbinding van een consumentaanbieder. Sites zien een gewone huiseigenaar als bezoeker. Zie residentiële proxy's.

Een proxy waarvan het exit-IP behoort tot een 4G/5G-netwerk van een provider. Providers delen elk IP met veel abonnees, daarom blokkeren sites deze met voorzichtigheid. Zie mobiele 4G-proxy's.

Een proxy die gehost wordt in een datacenter, met een IP geregistreerd bij een hostingprovider. Snel en goedkoop, maar vaak gefilterd door sites die hostingranges blokkeren.

Een statisch IP dat door een internetprovider wordt aangekondigd maar gehost wordt in een datacenter. Het lijkt residentieel voor sommige databases en blijft vaststaan. CrawlRelay verkoopt geen ISP proxies.

Één host en poort die jouw verbindingen doorstuurt naar veel exit-IP's erachter. Je wisselt exit-IP's via de gebruikersnaam of door nieuwe verbindingen te openen, niet door van adres te wisselen.

Het IP-adres dat de doelwebsite ziet. Bij een residentiële gateway is dat een huishouden-verbinding die past bij je targeting.

Carrier-grade NAT: een mobiele of breedbandprovider zet veel abonnees achter een paar publieke IP's. RFC 6598 reserveert 100.64.0.0/10 voor de gedeelde ruimte binnen zulke netwerken.

Autonomous System Number: de identificatie van een netwerk op internet, zoals AS7922 voor Comcast. ASN-targeting kiest exit-IP's bij één internetprovider.

Waar de residentiële IP's van een provider vandaan komen en onder welke voorwaarden apparaatbezitters bandbreedte delen. Na de 2026 IPIDEA- en NetNut-verwijderingen een belangrijke koopvraag. Zie sourcing.

Een gebruikersnaam zonder sessie-ID: elke nieuwe verbinding krijgt een IP uit de pool, meestal een andere. Rotatie volgt verbindingen, niet individuele HTTP-verzoeken.

Een gebruikersnaam met een sessie-ID en een TTL: verbindingen met die ID houden dezelfde exit-IP voor tot 30 minuten, hoewel het IP eerder kan wisselen. Zie sessions.

Hoe lang een sticky session zijn IP houdt, ingesteld in minuten met -ttl-<minutes>. Een sessie kan voortijdig eindigen als het apparaat erachter offline gaat.

Het hergebruiken van één TCP-verbinding voor meerdere HTTP-verzoeken. Sneller, maar elk verzoek op die verbinding deelt één exit-IP.

De HTTP-methode die een client gebruikt om een proxy te vragen om een tunnel naar een host en poort (RFC 9110, sectie 9.3.6). HTTPS-verkeer loopt dan end-to-end door de tunnel.

Een proxyprotocol dat TCP-verbindingen doorstuurt zonder HTTP te lezen (RFC 1928), met authenticatie via gebruikersnaam en wachtwoord volgens RFC 1929.

Het URL-schema dat een client instrueert om hostnamen naar de SOCKS5-proxy te sturen, zodat DNS aan de exit wordt opgelost in plaats van op jouw machine.

De request-header die proxy-gegevens draagt, meestal Basic username:password in Base64. De proxy verwijdert deze voordat hij doorstuurt.

De proxy weigerde het verzoek omdat de inloggegevens ontbreken of onjuist zijn. De website is nooit benaderd. Zie 407.

De website beperkt het aantal verzoeken (RFC 6585). Vertraag en respecteer Retry-After. Zie 429.

Een responsheader die het aantal seconden of een datum aangeeft om te wachten voordat je het opnieuw probeert (RFC 9110, sectie 10.2.3). Wordt meegestuurd bij 429- en 503-responses.

Het aantal gelijktijdige verzoeken. Volgens de wet van Little is dit doorvoer maal latentie. Beperk het per doelhost. Zie concurrency.

Een bestand in de root van een site dat geautomatiseerde clients vertelt welke paden ze mogen ophalen, gestandaardiseerd als RFC 9309 in 2022. Crawlers mogen het niet langer dan 24 uur cachen.

Een veelvoorkomende, niet-standaard regel in robots.txt die aangeeft hoeveel seconden er gewacht moet worden tussen verzoeken. Python's urllib.robotparser leest het met crawl_delay().

De header die de client benoemt. Een verantwoorde crawler stuurt zijn eigen naam, versie en een contact-URL, nooit de naam van een andere crawler.

Cloudflares robots.txt-uitbreiding met search, ai-input en ai-train waarden, geïntroduceerd in september 2025, die crawlers vertelt hoe content gebruikt mag worden.

Een machineleesbare reservering van een rechthebbende tegen text- en datamining volgens EU-copyrightwet, die aanbieders van algemene AI-modellen moeten respecteren.

Een uitdaging die checkt of de bezoeker mens is. Voor een crawler is het een signaal om te vertragen of te stoppen; CrawlRelay ondersteunt geen automatische oplossing.

Een browser zonder zichtbaar venster, gestuurd door code zoals Playwright of Puppeteer. Het renderen van JavaScript maar het downloadt veel meer data per pagina dan een HTTP-client.

Gestructureerde data ingesloten in een pagina als JSON, vaak met schema.org-types zoals Product en Aanbieding. De meest betrouwbare bron voor prijzen en productgegevens.

Het Web ARChive-bestandsformaat voor het opslaan van ruwe HTTP-verzoeken en -responses, gebruikt door Common Crawl en webarchieven. Ruwe responses opslaan voorkomt dubbele kosten van een pagina.

Een verzoek met If-None-Match of If-Modified-Since. Een ongewijzigde pagina antwoordt met 304 Not Modified zonder body, wat dataverkeer bespaart.

Verkeer in één keer kopen wanneer je het nodig hebt, in plaats van een maandelijks abonnement. Bij CrawlRelay zijn plannen eenmalige aankopen van een prepaid saldo.

Of gekochte gigabytes na een periode zoals 31 dagen of een maand vervallen. CrawlRelay residentiële proxy's en mobiele 4G-proxy's vervallen nooit.

1 GB = 1.000.000.000 bytes; een gibibyte (GiB) is 1.073.741.824 bytes. Vraag in welke eenheid een provider factureert; CrawlRelay factureert in decimale GB.

Verkeerskosten gedeeld door bruikbare responses. Een betere vergelijking tussen providers dan de lijstprijs per GB.

Een aparte set proxygegevens onder één account, met een eigen verkeerslimiet en gebruiksstatistieken, gebruikt om projecten of klanten te isoleren.

Know Your Customer: identiteit verificatie met documenten, selfies of bedrijfsdocumenten. CrawlRelay vraagt hier niet om en vertrouwt op een Acceptable Use Policy.

Acceptable Use Policy: de regels die elk account volgt, met toegestane en verboden gebruik en geblokkeerde doelen.