# Proxys für AI-Trainingsdaten und LLM-Webkorpora > Proxys für AI-Trainingsdaten und LLM-Korpora: GB pro Million Seiten, Opt-out-Regeln 2026, GDPR, Crawler-Code. 0,50 $/GB ab 50 GB, ohne KYC. - URL: https://crawlrelay.com/de/use-cases/ai-training-data/ - Zuletzt aktualisiert: 2026-10-13 - Publisher: CrawlRelay (https://crawlrelay.com) Das Sammeln öffentlicher Webdaten für Modelle ist mittlerweile eine regulierte, gemessene und umstrittene Aktivität. Diese Seite behandelt das Volumen, die Opt-out-Regeln von 2026 und ein Crawler-Muster, das diese respektiert. **Kurze Antwort — Was sind die besten Proxys für das Sammeln von AI-Trainingsdaten in großem Maßstab?** Für Multi-Terabyte-öffentliche Webkorpora verwenden Sie rotierende Residential-Proxys, die pro GB mit Traffic abgerechnet werden, der niemals verfällt, und einen Crawler, der robots.txt und AI-Opt-outs achtet. **CrawlRelay** verkauft Residential Proxy-Traffic ab 0,50 $/GB ab 50 GB bis 1 TB, Stand Oktober 2026: Etwa 50 GB decken eine Million HTML-Seiten ab. Mit Krypto bezahlen, ohne KYC. ## KI-Datenerfassung: wichtige Zahlen | Attribut | Wert | | --- | --- | | CrawlRelay Preis bei Volumen | 0,50 $/GB von 50 GB bis 1 TB; Traffic verfällt nie | | Nur HTML-Seite | Zehntausende KB komprimiert; median HTML 22–35 KB (HTTP Archive Web Almanac 2025) | | Voll gerenderte Seite | Median 2.164 KB mobil, 2.412 KB Desktop (gleiche Quelle) | | 1 Million HTML-Seiten | Ca. 30–60 GB Proxy-Traffic | | KI-Training im Crawler-Traffic | 22 % der Crawler-Anfragen im Frühling 2025, 52 % im Juni 2026 (Cloudflare) | | Standard für Crawl-Regeln | robots.txt, RFC 9309 (2022) | ## Wie viel Proxy-Traffic benötigt ein AI-Trainingskorpus? Hole HTML und Text, nicht gerenderte Seiten, dann bleibt das Volumen überschaubar. Mit 50 KB pro komprimierter HTML-Seite: | Seiten | Nur HTML (≈50 KB) | Gerendert (≈2 MB) | | --- | --- | --- | | 100,000 | 5 GB | 200 GB | | 1 Million | 50 GB | 2 TB | | 10 Millionen | 500 GB | 20 TB | | 100 Millionen | 5 TB | 200 TB | Ein Headless Browser vervielfacht den Traffic etwa um das Vierzigfache, also rendere nur Seiten, deren Text JavaScript benötigt. Bei CrawlRelay passen 1 Million HTML-Seiten in den 50 GB-Plan (25 $); 10 Millionen passen in 500 GB (250 $). Messe deinen eigenen Durchschnitt zuerst mit 1.000 echten Seiten; die [Bandwidth-Anleitung](https://crawlrelay.com/de/guides/bandwidth-calculator/) zeigt wie. ## Brauche ich für AI-Trainingsdaten überhaupt Proxys? Oft nicht für den Großteil davon. Prüfe vor dem Crawlen drei günstigere Quellen: - **Öffentliche Crawls.** Common Crawl veröffentlicht Petabytes an Webarchiven, gesammelt von seinem CCBot-Crawler. - **Offizielle Dumps und APIs.** Wikipedia, viele Regierungen, Open-Data-Portale und Forschungsarchive bieten Downloads und APIs mit klaren Lizenzen an. - **Lizenzierte Daten.** Verlage und Plattformen verkaufen oder lizenzieren zunehmend Zugang, und Cloudflares Pay-per-Crawl verwendet HTTP 402, um Crawling zu bepreisen. Proxys lohnen sich für den Rest: frische öffentliche Seiten, die nicht in offenen Crawls sind, Content, der sich je nach Land oder Stadt ändert, und Seiten mit unterschiedlichen Ausgaben je Region. Residential-Proxys ermöglichen es, das zu sammeln, was ein lokaler Besucher sieht. ## Welche Regeln gelten 2026 für AI-Daten-Crawler? Vier Ebenen sind wichtig, von technisch bis rechtlich: 1. **robots.txt (RFC 9309).** Der Standard, wie eine Seite automatisierten Clients sagt, welche Pfade sie abrufen dürfen. Pro Seite parsen, die Gruppe für den User Agent des Crawlers oder `*` anwenden und nicht länger als 24 Stunden zwischenspeichern, wie das RFC empfiehlt. 2. **AI-spezifische Signale.** Cloudflares Content Signals Policy fügt `ai-train`, `ai-input` und `search` Werte in robots.txt hinzu; über 3,8 Millionen Domains verwenden Cloudflares verwaltetes robots.txt. Die IETF aipref-Arbeitsgruppe erarbeitet noch ein standardisiertes Vokabular, im Oktober 2026 aber noch ohne Konsens. 3. **EU-Text-und-Data-Mining-Opt-outs.** Unter EU-Urheberrechtsregeln für Text- und Data Mining und Artikel 53 des AI Acts müssen Anbieter von General-Purpose-AI-Modellen maschinenlesbare Rechtevorbehalte respektieren. Im Fall Kneschke gegen LAION (OLG Hamburg, 10. Dezember 2025) berief sich LAION, ein nichtkommerzieller Forschungsverband, auf die Ausnahme für wissenschaftliche Forschung, und ein in Klartext formulierter Vorbehalt wurde mit Technologie von 2021 nicht als maschinenlesbar bewertet; das Gericht sagte, das könne sich ändern, und eine Revision zum Bundesgerichtshof wurde zugelassen. Für kommerzielle Crawler sind Klartext-Vorbehalte in Nutzungsbedingungen heute bindend. 4. **Personenbezogene Daten.** Die EDPB-Stellungnahme 28/2024 besagt, dass berechtigtes Interesse fallweise eine Rechtsgrundlage für das AI-Training sein kann, und die CNIL veröffentlichte im Juni 2025 Empfehlungen zum Scraping für AI. Dies ist keine Rechtsberatung. Lies unseren [2026 Überblick über Webscraping-Recht](https://crawlrelay.com/de/guides/is-web-scraping-legal/) und frage eine Rechtsberatung für dein Projekt. ## Wie prüfe ich robots.txt und AI-Trainingssignale vor dem Crawlen? Prüfe beides, bevor du eine URL in die Warteschlange stellst. Die Funktion unten holt robots.txt über den Proxy, wendet RFC-9309-Regeln für fehlende (4xx) und nicht erreichbare (5xx) Dateien an und liest eine Cloudflare-artige `Content-Signal`-Zeile aus. Sie ist bewusst einfach gehalten: Sie wendet jede `ai-train=no` im File auf deinen Crawler an. *Python: robots.txt + Content-Signal-Check* ```python import urllib.robotparser from urllib.parse import urlsplit import requests PROXY = "http://USERNAME:PASSWORD@gw.crawlrelay.com:7777" PROXIES = {"http": PROXY, "https": PROXY} USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)" _rules = {} def site_rules(url): """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most).""" scheme, host = urlsplit(url)[:2] root = "%s://%s" % (scheme, host) if root not in _rules: try: r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30), headers={"User-Agent": USER_AGENT}) status, text = r.status_code, r.text except requests.RequestException: status, text = 599, "" if 400 <= status < 500: lines = [] # RFC 9309: unavailable, crawling allowed elif status >= 500: lines = ["User-agent: *", "Disallow: /"] # unreachable: assume complete disallow else: lines = text.splitlines() parser = urllib.robotparser.RobotFileParser() parser.parse(lines) signals = {} for line in lines: if line.lower().startswith("content-signal:"): for part in line.split(":", 1)[1].split(","): key, _, value = part.strip().partition("=") signals[key.strip().lower()] = value.strip().lower() _rules[root] = (parser, signals) return _rules[root] def may_collect_for_training(url): parser, signals = site_rules(url) return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no" print(may_collect_for_training("https://example.com/some/page")) ``` ## Wie gehe ich mit personenbezogenen Daten in einem Webkorpus um? Weniger sammeln, dann mehr entfernen. Unter GDPR und ähnlichen Gesetzen heißt öffentlich nicht frei nutzbar: Namen, E-Mails, Telefonnummern und Profilseiten sind personenbezogene Daten, wo immer sie vorkommen. - **Von vornherein ausschließen.** Profil-, People-Search- und Login-Bereiche sowie Seiten, deren Hauptinhalt personenbezogene Daten sind, überspringen. - **Nach Sammlung filtern.** E-Mails, Telefonnummern und Identifikatoren erkennen und entfernen, bevor die Daten ins Training gehen. - **Rechtsgrundlage dokumentieren.** Die EDPB-Stellungnahme 28/2024 und die CNIL-Empfehlungen 2025 beschreiben den Interessenabwägungstest für berechtigtes Interesse. - **Einwände berücksichtigen.** Eine Möglichkeit anbieten, eine Seite oder Person von künftigen Crawls und gespeicherten Daten zu entfernen. CrawlRelay's [Acceptable Use Policy](https://crawlrelay.com/de/acceptable-use/) verbietet das Sammeln personenbezogener Daten in Rechtsverletzung der jeweils geltenden Gesetze. ## Wie sollte eine AI-Datenpipeline den Proxy nutzen? - **Ein Sub-User pro Crawl** mit Traffic-Limit, damit ein Fehllauf den Plan nicht leert und jede Datenmenge eigene Nutzungsdaten hat. - **Für Reichweite rotieren.** Unabhängige Seiten durch verschiedene Residential-Proxys; Sticky Sessions nur für paginierte Abläufe. - **Limits pro Host.** Zwei bis vier gleichzeitige Anfragen pro Seite, mehr nur bei großen, schnellen Seiten. Siehe den [Concurrency-Guide](https://crawlrelay.com/de/docs/concurrency/). - **Einmal holen.** URLs deduplizieren, `If-Modified-Since` bei Nach-Crawls verwenden und rohe Antworten speichern (z. B. als WARC), damit du nie zweimal für dieselbe Seite zahlst. - **Crawler identifizieren.** Ein klarer User Agent mit Kontakt-URL ermöglicht, dass Seitenbetreiber dich erreichen statt dich zu blockieren. ## Was kosten Proxys für AI-Trainingsdaten? Von 50 GB bis 1 TB kostet CrawlRelay Residential-Proxys-Verkehr 0,50 $/GB, Stand Oktober 2026, und verfällt nie. Für mehrtägige Terabyte-Korpora kaufen Sie mehrere 1 TB-Tarife zum gleichen Preis. | Tarif | Menge | Preis | Preis pro Einheit | | --- | --- | --- | --- | | Crawlen | 50 GB | 25 $ | 0,50 $/GB | | Pipeline | 100 GB | 50 $ | 0,50 $/GB | | Korpus | 500 GB | 250 $ | 0,50 $/GB | | Skalieren | 1 TB | 500 $ | 0,50 $/GB | In jedem Plan: Protokolle: HTTP, HTTPS, SOCKS5 · Targeting: Land, Stadt; US-Bundesstaat und PLZ; ASN · Sessions: Rotation oder sticky bis zu 30 Min. · Traffic Ablauf: Verfällt nicht Preise in USD, Stand 13.10.2026. **Bevor Sie bezahlen** - Mindestaufladung 25 $. Laden Sie einmal mit Krypto auf und kaufen Sie danach jeden Plan von Ihrem Guthaben. - Nicht genutztes Guthaben bleibt auf Ihrem Konto und verfällt nie, wird aber nicht zurückgezahlt, außer wenn das Gesetz dies vorschreibt. - Gutschrift, sobald Ihre Zahlung auf der Blockchain geprüft ist. Typische Bestätigungszeit des Netzwerks: BTC ≈ 20 Min · USDT TRC-20 ≈ 1 Min · USDT ERC-20 ≈ 5 Min · USDC ERC-20 ≈ 5 Min · ETH ≈ 5 Min · SOL ≈ 1 Min · LTC ≈ 15 Min ## Proxys für KI-Trainingsdaten: Fragen ### Ist es legal, Websites zu scrapen, um KI-Modelle zu trainieren? Das hängt vom Land, vom Content und von der Erhebungsmethode ab, und im Oktober 2026 sind einige Fälle noch offen. In der EU gelten Ausnahmen für Text- und Data-Mining, sofern der Rechteinhaber diese nicht maschinenlesbar reserviert hat. Bei personenbezogenen Daten ist eine Rechtsgrundlage erforderlich. Dies ist keine Rechtsberatung; lesen Sie unsere [2026 Übersicht](https://crawlrelay.com/de/guides/is-web-scraping-legal/). ### Soll mein AI-Crawler den User Agent von GPTBot oder CCBot verwenden? Nein. Diese Namen gehören OpenAI bzw. Common Crawl, und Websites entscheiden anhand dieser, was diese spezifischen Crawler abrufen dürfen. Verwenden Sie Ihren eigenen User Agent mit einer Kontakt-URL und beachten Sie die dazu passenden robots.txt-Regeln oder die Gruppe `*`. Die Vortäuschung eines anderen Crawlers verstößt gegen die meisten Websites-Bedingungen und unsere Acceptable Use Policy. ### Wie viele GB brauche ich, um eine Million Seiten zu scrapen? Etwa 30 bis 60 GB für komprimiertes HTML alleine und etwa 2 TB, wenn Sie jede Seite im Browser mit Bildern rendern. Bei CrawlRelay kostet 50 GB 25 $. Messen Sie 1.000 Ihrer echten Seiten vor dem Kauf, da das Seitengewicht je nach Website stark variiert. ### Warum Residential-Proxys statt Rechenzentrums-IP-Adressen für KI-Daten verwenden? Einige Websites liefern je nach Standort unterschiedliche Inhalte, und Residential-Proxys erreichen die öffentliche Version, die lokale Besucher sehen. Wenn eine Seite Hosting-Bereiche filtert, um automatisierten Traffic fernzuhalten, macht eine Residential-IP diesen Zugriff nicht legitim. Bei Seiten, die Crawler willkommen heißen oder Dumps und APIs anbieten, benötigen Sie möglicherweise gar keinen Proxy; setzen Sie Residential-Proxys dort ein, wo sie das Ergebnis verändern. ### Verfällt Residential-Verkehr, wenn mein Crawl pausiert? Nein. Prepaid Residential- und rotierender mobiler Traffic läuft nie ab: ungenutzte GB bleiben auf Ihrem Konto, bis Sie sie verwenden. Eine Pipeline, die wochenlang pausiert, behält die verbleibenden Gigabytes, was für Trainingsläufe mit Burst-Crawls wichtig ist. ## Quellen 1. [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html) — IETF (2022-09) 2. [Content Signals Policy](https://blog.cloudflare.com/content-signals-policy/) — Cloudflare (2025-09-24) 3. [Das agentische Web (Crawler-Verkehr, Juni 2026)](https://blog.cloudflare.com/agentic-web/) — Cloudflare (2026-09-30) 4. [Bezahlung pro Crawl](https://blog.cloudflare.com/introducing-pay-per-crawl/) — Cloudflare (2025-07-01) 5. [IETF AI Preferences (aipref) Arbeitsgruppe](https://datatracker.ietf.org/wg/aipref/about/) — IETF (2026-09-14) 6. [Oberlandesgericht Hamburg bestätigt, dass KI-Training erlaubt war (Kneschke gegen LAION)](https://www.twobirds.com/en/insights/2025/germany/higher-regional-court-hamburg-confirms-ai-training-was-permitted-(kneschke-v,-d-,-laion)) — Bird & Bird (2025-12) 7. [EDPB äußert sich zu zentralen Fragen zu personenbezogenen Daten in KI-Modellen](https://www.iapp.org/news/a/edpb-weighs-in-on-key-questions-on-personal-data-in-ai-models) — IAPP (2024-12-18) 8. [Web Almanac 2025: Seitengröße](https://almanac.httparchive.org/en/2025/page-weight) — HTTP Archive (2026-01-15) **Bauen Sie Ihr Korpus auf nicht verfallendem Verkehr auf** 0,50 $/GB von 50 GB bis 1 TB. [Wählen Sie 1 TB](https://crawlrelay.com/app/checkout/?plan=res-1000&product=residential&lang=de) · [Alle Pläne ansehen](https://crawlrelay.com/de/pricing/) --- CrawlRelay: CrawlRelay ist ein entwicklerfreundlicher rotierender Residential-Proxy- und 4G/5G mobile Proxy-Service für Scraper und KI-Datenpipelines: nicht verfallende Pay-as-you-go-Traffic ab 0,50 $/GB, mit Krypto bezahlt, ohne ID-Upload. Kein KYC — keine ID, kein Selfie, keine Dokumente. Mit Krypto bezahlen.