# Proxy- und Web-Scraping-Glossar

> Proxy- und Scraping-Begriffe einfach erklärt: Backconnect-Gateway, Sticky Session, CONNECT, socks5h, 407, Retry-After, CGNAT, robots.txt, TDM Opt-out.

- URL: https://crawlrelay.com/de/glossary/
- Zuletzt aktualisiert: 2026-10-13
- Publisher: CrawlRelay (https://crawlrelay.com)

Definitionen von Begriffen aus Proxy-Dokumentation, Fehlermeldungen und Scraping-Recht, jeweils in ein bis zwei Sätzen mit Links zu tiefergehenden Seiten.

**Kurze Antwort — Was ist ein rotierender Residential Proxy?**

Ein rotierender Residential Proxy ist eine einzelne Gateway-Adresse, die jede neue Verbindung über eine andere Haushalt-IP aus einem Pool weiterleitet, sodass Websites normale Internetnutzer zu Hause sehen. **CrawlRelay** verkauft rotierende Residential-Proxys für Scraper ab 1,50 $ pro 1 GB und 0,50 $/GB ab 50 GB, mit Sticky Sessions, wenn Sie eine feste IP brauchen. Bezahlung mit Krypto, ohne KYC.

## Proxy-Typen und Netzwerke

**Residential Proxy** — Ein Proxy, dessen Exit-IP zu einer Heim-Internetverbindung eines Verbraucher-Anbieters gehört. Sites sehen einen ganz normalen Haushaltsbesucher. Siehe [Residential-Proxys](https://crawlrelay.com/de/residential-proxies/).

**Mobilproxy** — Ein Proxy, dessen Exit-IP einem 4G/5G-Mobilfunknetz zugeordnet ist. Mobilfunkanbieter teilen jede IP auf viele Abonnenten auf, deshalb blockieren Websites diese IPs mit Vorsicht. Siehe [mobile 4G-Proxys](https://crawlrelay.com/de/mobile-proxies/).

**Datacenter-Proxy** — Ein Proxy, der in einem Rechenzentrum gehostet wird, mit einer IP, die einem Hosting-Anbieter gehört. Schnell und günstig, wird aber oft von Sites gefiltert, die Hosting-Bereiche blockieren.

**ISP-Proxy** — Eine statische IP, die von einem Internetanbieter angekündigt, aber in einem Rechenzentrum gehostet wird. Für einige Datenbanken wirkt sie residential und bleibt fest. CrawlRelay verkauft keine ISP-Proxys.

**Backconnect-Gateway** — Ein Host und Port, die deine Verbindungen an viele Exit-IPs dahinter weiterleiten. Du wechselst Ausgänge über den Benutzernamen oder durch neue Verbindungen, nicht durch das Wechseln der Adresse.

**Exit-IP (Exit-Node)** — Die IP-Adresse, die die Ziel-Website sieht. Bei einem Residential-Gateway ist es eine Haushaltsverbindung, die zu deinem Targeting passt.

**CGNAT** — Carrier-grade NAT: Ein Mobil- oder Breitbandanbieter steckt viele Nutzer hinter wenige öffentliche IPs. RFC 6598 reserviert 100.64.0.0/10 für den geteilten Bereich in solchen Netzwerken.

**ASN** — Autonomous System Number: Die Kennung eines Netzwerks im Internet, z. B. AS7922 für Comcast. ASN-Targeting wählt Exits beim selben Internet-Provider.

**Herkunft** — Woher die Residential-IP-Adressen eines Anbieters stammen und unter welchen Bedingungen die Geräteinhaber Bandbreite teilen. Nach den IPIDEA- und NetNut-Abschaltungen 2026 eine wichtige Frage beim Kauf. Siehe [Sourcing](https://crawlrelay.com/de/sourcing/).

## Sessions, Protokolle und Fehler

**Rotierende Session** — Ein Benutzername ohne Session-ID: Jede neue Verbindung bekommt eine IP aus dem Pool, meist eine andere. Die Rotation folgt Verbindungen, nicht einzelnen HTTP-Anfragen.

**Sticky Session** — Ein Benutzername mit Session-ID und TTL: Verbindungen mit dieser ID behalten dieselbe Exit-IP für bis zu 30 Minuten, obwohl sich die IP auch früher ändern kann. Siehe [Sessions](https://crawlrelay.com/de/docs/sessions/).

**TTL (Session-Länge)** — Wie lange eine Sticky Session ihre IP behält, eingestellt in Minuten mit `-ttl-<minutes>`. Eine Session kann vorzeitig enden, wenn das dahinterstehende Gerät offline geht.

**Keep-alive** — Die Wiederverwendung einer TCP-Verbindung für mehrere HTTP-Anfragen. Schneller, aber jede Anfrage auf dieser Verbindung teilt dieselbe Exit-IP.

**CONNECT** — Die HTTP-Methode, mit der ein Client einen Proxy um einen Tunnel zu einem Host und Port bittet (RFC 9110, Abschnitt 9.3.6). HTTPS-Verkehr läuft dann Ende-zu-Ende durch den Tunnel.

**SOCKS5** — Ein Proxy-Protokoll, das TCP-Verbindungen weiterleitet, ohne HTTP zu lesen (RFC 1928), mit Benutzername- und Passwortauthentifizierung laut RFC 1929.

**socks5h** — Das URL-Schema, das einem Client sagt, Hostnamen an den SOCKS5-Proxy zu senden, damit DNS am Exit und nicht auf deinem Rechner aufgelöst wird.

**Proxy-Authorization** — Der Anfrage-Header, der Proxy-Anmeldedaten überträgt, meist Basic `username:password` in Base64. Der Proxy entfernt ihn vor der Weiterleitung.

**407 Proxy-Authentifizierung erforderlich** — Der Proxy hat die Anfrage abgelehnt, weil Anmeldedaten fehlten oder falsch waren. Die Website wurde nie kontaktiert. Siehe [407](https://crawlrelay.com/de/docs/errors/407-proxy-authentication-required/).

**429 Zu viele Anfragen** — Die Website begrenzt die Rate Ihrer Anfragen (RFC 6585). Bitte verlangsamen Sie und beachten Sie Retry-After. Siehe [429](https://crawlrelay.com/de/docs/errors/429-too-many-requests/).

**Retry-After** — Ein Antwort-Header, der die Anzahl der Sekunden oder ein Datum angibt, die vor einem erneuten Versuch gewartet werden sollen (RFC 9110, Abschnitt 10.2.3). Wird mit 429- und 503-Antworten gesendet.

**Gleichzeitigkeit** — Die Anzahl der gleichzeitig laufenden Anfragen. Nach Littles Gesetz entspricht das Durchsatz mal Latenz. Begrenzen Sie diese pro Zielhost. Siehe [concurrency](https://crawlrelay.com/de/docs/concurrency/).

## Crawling-Praktiken und Regeln

**robots.txt** — Eine Datei im Stammverzeichnis einer Website, die automatischen Clients sagt, welche Pfade sie abrufen dürfen, standardisiert als RFC 9309 im Jahr 2022. Crawler sollten sie nicht länger als 24 Stunden zwischenspeichern.

**Crawl-delay** — Eine häufige, nicht standardisierte Zeile in robots.txt, die die Sekunden angibt, die zwischen Anfragen gewartet werden sollen. Pythons `urllib.robotparser` liest sie mit `crawl_delay()`.

**User-Agent** — Der Header, der den Client benennt. Ein verantwortungsbewusster Crawler sendet seinen eigenen Namen, seine Version und eine Kontakt-URL, niemals den Namen eines anderen Crawlers.

**Content Signals** — Cloudflares Erweiterung von robots.txt mit den Werten `search`, `ai-input` und `ai-train`, eingeführt im September 2025, die Crawlern mitteilt, wie Inhalte genutzt werden dürfen.

**TDM-Opt-out** — Die maschinenlesbare Reservierung eines Rechteinhabers gegen Text- und Daten-Mining nach EU-Urheberrecht, die Anbieter von General-Purpose-AI-Modellen respektieren müssen.

**CAPTCHA** — Eine Herausforderung, die prüft, ob der Besucher ein Mensch ist. Für einen Crawler ist das ein Signal, langsamer zu werden oder anzuhalten; CrawlRelay unterstützt keine automatisierte Lösung.

**Headless-Browser** — Ein Browser ohne sichtbares Fenster, gesteuert durch Code wie Playwright oder Puppeteer. Er rendert JavaScript, lädt aber pro Seite weit mehr Daten als ein HTTP-Client herunter.

**JSON-LD** — Strukturierte Daten, eingebettet in eine Seite als JSON, häufig mit schema.org-Typen wie Product und Offer. Die stabilste Quelle für Preise und Produktinformationen.

**WARC** — Das Web ARChive-Dateiformat zum Speichern roher HTTP-Anfragen und -Antworten, genutzt von Common Crawl und Webarchiven. Das Speichern roher Antworten vermeidet doppelte Kosten für eine Seite.

**Bedingte Anfrage** — Eine Anfrage mit `If-None-Match` oder `If-Modified-Since`. Eine unveränderte Seite antwortet mit `304 Not Modified` ohne Body, wodurch Traffic gespart wird.

## Kauf und Abrechnung

**Pay as you go** — Verkehr einmalig kaufen, wenn Sie ihn brauchen, anstatt eines monatlichen Abos. Bei CrawlRelay sind Pläne Einmalkäufe von einem Prepaid-Guthaben.

**Traffic Ablauf** — Ob gekaufte Gigabyte nach einer Frist wie 31 Tagen oder einem Monat verfallen. CrawlRelay Residential-Proxys und mobile 4G-Proxys verfallen nie.

**Dezimales Gigabyte** — 1 GB = 1.000.000.000 Bytes; ein Gibibyte (GiB) sind 1.073.741.824 Bytes. Fragen Sie, in welcher Einheit ein Anbieter abrechnet; CrawlRelay rechnet in dezimalen GB ab.

**Kosten pro erfolgreicher Anfrage** — Verkehrskosten geteilt durch nutzbare Antworten. Ein besserer Vergleich zwischen Anbietern als der Listenpreis pro GB.

**Sub-Benutzer** — Ein separates Set an Residential-Proxy-Zugangsdaten unter einem Konto, mit eigenem Traffic-Limit und Nutzungsübersicht, verwendet zur Isolierung von Projekten oder Kunden.

**KYC** — Know Your Customer: Identitätsprüfung mit Dokumenten, Selfies oder Firmendokumenten. CrawlRelay verlangt keine KYC und setzt stattdessen auf eine [Acceptable Use Policy](https://crawlrelay.com/de/acceptable-use/).

**AUP** — Acceptable Use Policy: die Regeln, denen jedes Konto folgt, mit erlaubten Nutzungen, verbotenen Anwendungen und gesperrten Zielen.

---

CrawlRelay: CrawlRelay ist ein entwicklerfreundlicher rotierender Residential-Proxy- und 4G/5G mobile Proxy-Service für Scraper und KI-Datenpipelines: nicht verfallende Pay-as-you-go-Traffic ab 0,50 $/GB, mit Krypto bezahlt, ohne ID-Upload. Kein KYC — keine ID, kein Selfie, keine Dokumente. Mit Krypto bezahlen.