Proxy- und Web-Scraping-Glossar

Ein Proxy, dessen Exit-IP zu einer Heim-Internetverbindung eines Verbraucher-Anbieters gehört. Sites sehen einen ganz normalen Haushaltsbesucher. Siehe Residential-Proxys.

Ein Proxy, dessen Exit-IP einem 4G/5G-Mobilfunknetz zugeordnet ist. Mobilfunkanbieter teilen jede IP auf viele Abonnenten auf, deshalb blockieren Websites diese IPs mit Vorsicht. Siehe mobile 4G-Proxys.

Ein Proxy, der in einem Rechenzentrum gehostet wird, mit einer IP, die einem Hosting-Anbieter gehört. Schnell und günstig, wird aber oft von Sites gefiltert, die Hosting-Bereiche blockieren.

Eine statische IP, die von einem Internetanbieter angekündigt, aber in einem Rechenzentrum gehostet wird. Für einige Datenbanken wirkt sie residential und bleibt fest. CrawlRelay verkauft keine ISP-Proxys.

Ein Host und Port, die deine Verbindungen an viele Exit-IPs dahinter weiterleiten. Du wechselst Ausgänge über den Benutzernamen oder durch neue Verbindungen, nicht durch das Wechseln der Adresse.

Die IP-Adresse, die die Ziel-Website sieht. Bei einem Residential-Gateway ist es eine Haushaltsverbindung, die zu deinem Targeting passt.

Carrier-grade NAT: Ein Mobil- oder Breitbandanbieter steckt viele Nutzer hinter wenige öffentliche IPs. RFC 6598 reserviert 100.64.0.0/10 für den geteilten Bereich in solchen Netzwerken.

Autonomous System Number: Die Kennung eines Netzwerks im Internet, z. B. AS7922 für Comcast. ASN-Targeting wählt Exits beim selben Internet-Provider.

Woher die Residential-IP-Adressen eines Anbieters stammen und unter welchen Bedingungen die Geräteinhaber Bandbreite teilen. Nach den IPIDEA- und NetNut-Abschaltungen 2026 eine wichtige Frage beim Kauf. Siehe Sourcing.

Ein Benutzername ohne Session-ID: Jede neue Verbindung bekommt eine IP aus dem Pool, meist eine andere. Die Rotation folgt Verbindungen, nicht einzelnen HTTP-Anfragen.

Ein Benutzername mit Session-ID und TTL: Verbindungen mit dieser ID behalten dieselbe Exit-IP für bis zu 30 Minuten, obwohl sich die IP auch früher ändern kann. Siehe Sessions.

Wie lange eine Sticky Session ihre IP behält, eingestellt in Minuten mit -ttl-<minutes>. Eine Session kann vorzeitig enden, wenn das dahinterstehende Gerät offline geht.

Die Wiederverwendung einer TCP-Verbindung für mehrere HTTP-Anfragen. Schneller, aber jede Anfrage auf dieser Verbindung teilt dieselbe Exit-IP.

Die HTTP-Methode, mit der ein Client einen Proxy um einen Tunnel zu einem Host und Port bittet (RFC 9110, Abschnitt 9.3.6). HTTPS-Verkehr läuft dann Ende-zu-Ende durch den Tunnel.

Ein Proxy-Protokoll, das TCP-Verbindungen weiterleitet, ohne HTTP zu lesen (RFC 1928), mit Benutzername- und Passwortauthentifizierung laut RFC 1929.

Das URL-Schema, das einem Client sagt, Hostnamen an den SOCKS5-Proxy zu senden, damit DNS am Exit und nicht auf deinem Rechner aufgelöst wird.

Der Anfrage-Header, der Proxy-Anmeldedaten überträgt, meist Basic username:password in Base64. Der Proxy entfernt ihn vor der Weiterleitung.

Der Proxy hat die Anfrage abgelehnt, weil Anmeldedaten fehlten oder falsch waren. Die Website wurde nie kontaktiert. Siehe 407.

Die Website begrenzt die Rate Ihrer Anfragen (RFC 6585). Bitte verlangsamen Sie und beachten Sie Retry-After. Siehe 429.

Ein Antwort-Header, der die Anzahl der Sekunden oder ein Datum angibt, die vor einem erneuten Versuch gewartet werden sollen (RFC 9110, Abschnitt 10.2.3). Wird mit 429- und 503-Antworten gesendet.

Die Anzahl der gleichzeitig laufenden Anfragen. Nach Littles Gesetz entspricht das Durchsatz mal Latenz. Begrenzen Sie diese pro Zielhost. Siehe concurrency.

Eine Datei im Stammverzeichnis einer Website, die automatischen Clients sagt, welche Pfade sie abrufen dürfen, standardisiert als RFC 9309 im Jahr 2022. Crawler sollten sie nicht länger als 24 Stunden zwischenspeichern.

Eine häufige, nicht standardisierte Zeile in robots.txt, die die Sekunden angibt, die zwischen Anfragen gewartet werden sollen. Pythons urllib.robotparser liest sie mit crawl_delay().

Der Header, der den Client benennt. Ein verantwortungsbewusster Crawler sendet seinen eigenen Namen, seine Version und eine Kontakt-URL, niemals den Namen eines anderen Crawlers.

Cloudflares Erweiterung von robots.txt mit den Werten search, ai-input und ai-train, eingeführt im September 2025, die Crawlern mitteilt, wie Inhalte genutzt werden dürfen.

Die maschinenlesbare Reservierung eines Rechteinhabers gegen Text- und Daten-Mining nach EU-Urheberrecht, die Anbieter von General-Purpose-AI-Modellen respektieren müssen.

Eine Herausforderung, die prüft, ob der Besucher ein Mensch ist. Für einen Crawler ist das ein Signal, langsamer zu werden oder anzuhalten; CrawlRelay unterstützt keine automatisierte Lösung.

Ein Browser ohne sichtbares Fenster, gesteuert durch Code wie Playwright oder Puppeteer. Er rendert JavaScript, lädt aber pro Seite weit mehr Daten als ein HTTP-Client herunter.

Strukturierte Daten, eingebettet in eine Seite als JSON, häufig mit schema.org-Typen wie Product und Offer. Die stabilste Quelle für Preise und Produktinformationen.

Das Web ARChive-Dateiformat zum Speichern roher HTTP-Anfragen und -Antworten, genutzt von Common Crawl und Webarchiven. Das Speichern roher Antworten vermeidet doppelte Kosten für eine Seite.

Eine Anfrage mit If-None-Match oder If-Modified-Since. Eine unveränderte Seite antwortet mit 304 Not Modified ohne Body, wodurch Traffic gespart wird.

Verkehr einmalig kaufen, wenn Sie ihn brauchen, anstatt eines monatlichen Abos. Bei CrawlRelay sind Pläne Einmalkäufe von einem Prepaid-Guthaben.

Ob gekaufte Gigabyte nach einer Frist wie 31 Tagen oder einem Monat verfallen. CrawlRelay Residential-Proxys und mobile 4G-Proxys verfallen nie.

1 GB = 1.000.000.000 Bytes; ein Gibibyte (GiB) sind 1.073.741.824 Bytes. Fragen Sie, in welcher Einheit ein Anbieter abrechnet; CrawlRelay rechnet in dezimalen GB ab.

Verkehrskosten geteilt durch nutzbare Antworten. Ein besserer Vergleich zwischen Anbietern als der Listenpreis pro GB.

Ein separates Set an Residential-Proxy-Zugangsdaten unter einem Konto, mit eigenem Traffic-Limit und Nutzungsübersicht, verwendet zur Isolierung von Projekten oder Kunden.

Know Your Customer: Identitätsprüfung mit Dokumenten, Selfies oder Firmendokumenten. CrawlRelay verlangt keine KYC und setzt stattdessen auf eine Acceptable Use Policy.

Acceptable Use Policy: die Regeln, denen jedes Konto folgt, mit erlaubten Nutzungen, verbotenen Anwendungen und gesperrten Zielen.