Proxys für AI-Trainingsdaten und LLM-Webkorpora

Wie viel Proxy-Traffic benötigt ein AI-Trainingskorpus?

Hole HTML und Text, nicht gerenderte Seiten, dann bleibt das Volumen überschaubar. Mit 50 KB pro komprimierter HTML-Seite:

Brauche ich für AI-Trainingsdaten überhaupt Proxys?

Oft nicht für den Großteil davon. Prüfe vor dem Crawlen drei günstigere Quellen:

• Öffentliche Crawls. Common Crawl veröffentlicht Petabytes an Webarchiven, gesammelt von seinem CCBot-Crawler.
• Offizielle Dumps und APIs. Wikipedia, viele Regierungen, Open-Data-Portale und Forschungsarchive bieten Downloads und APIs mit klaren Lizenzen an.
• Lizenzierte Daten. Verlage und Plattformen verkaufen oder lizenzieren zunehmend Zugang, und Cloudflares Pay-per-Crawl verwendet HTTP 402, um Crawling zu bepreisen.

Proxys lohnen sich für den Rest: frische öffentliche Seiten, die nicht in offenen Crawls sind, Content, der sich je nach Land oder Stadt ändert, und Seiten mit unterschiedlichen Ausgaben je Region. Residential-Proxys ermöglichen es, das zu sammeln, was ein lokaler Besucher sieht.

Welche Regeln gelten 2026 für AI-Daten-Crawler?

Vier Ebenen sind wichtig, von technisch bis rechtlich:

1. robots.txt (RFC 9309). Der Standard, wie eine Seite automatisierten Clients sagt, welche Pfade sie abrufen dürfen. Pro Seite parsen, die Gruppe für den User Agent des Crawlers oder * anwenden und nicht länger als 24 Stunden zwischenspeichern, wie das RFC empfiehlt.
2. AI-spezifische Signale. Cloudflares Content Signals Policy fügt ai-train, ai-input und search Werte in robots.txt hinzu; über 3,8 Millionen Domains verwenden Cloudflares verwaltetes robots.txt. Die IETF aipref-Arbeitsgruppe erarbeitet noch ein standardisiertes Vokabular, im Oktober 2026 aber noch ohne Konsens.
3. EU-Text-und-Data-Mining-Opt-outs. Unter EU-Urheberrechtsregeln für Text- und Data Mining und Artikel 53 des AI Acts müssen Anbieter von General-Purpose-AI-Modellen maschinenlesbare Rechtevorbehalte respektieren. Im Fall Kneschke gegen LAION (OLG Hamburg, 10. Dezember 2025) berief sich LAION, ein nichtkommerzieller Forschungsverband, auf die Ausnahme für wissenschaftliche Forschung, und ein in Klartext formulierter Vorbehalt wurde mit Technologie von 2021 nicht als maschinenlesbar bewertet; das Gericht sagte, das könne sich ändern, und eine Revision zum Bundesgerichtshof wurde zugelassen. Für kommerzielle Crawler sind Klartext-Vorbehalte in Nutzungsbedingungen heute bindend.
4. Personenbezogene Daten. Die EDPB-Stellungnahme 28/2024 besagt, dass berechtigtes Interesse fallweise eine Rechtsgrundlage für das AI-Training sein kann, und die CNIL veröffentlichte im Juni 2025 Empfehlungen zum Scraping für AI.

Dies ist keine Rechtsberatung. Lies unseren 2026 Überblick über Webscraping-Recht und frage eine Rechtsberatung für dein Projekt.

Wie prüfe ich robots.txt und AI-Trainingssignale vor dem Crawlen?

Prüfe beides, bevor du eine URL in die Warteschlange stellst. Die Funktion unten holt robots.txt über den Proxy, wendet RFC-9309-Regeln für fehlende (4xx) und nicht erreichbare (5xx) Dateien an und liest eine Cloudflare-artige Content-Signal-Zeile aus. Sie ist bewusst einfach gehalten: Sie wendet jede ai-train=no im File auf deinen Crawler an.

import urllib.robotparser
from urllib.parse import urlsplit

import requests

PROXY = "http://USERNAME:[email protected]:7777"
PROXIES = {"http": PROXY, "https": PROXY}
USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)"
_rules = {}


def site_rules(url):
    """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most)."""
    scheme, host = urlsplit(url)[:2]
    root = "%s://%s" % (scheme, host)
    if root not in _rules:
        try:
            r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30),
                             headers={"User-Agent": USER_AGENT})
            status, text = r.status_code, r.text
        except requests.RequestException:
            status, text = 599, ""
        if 400 <= status < 500:
            lines = []  # RFC 9309: unavailable, crawling allowed
        elif status >= 500:
            lines = ["User-agent: *", "Disallow: /"]  # unreachable: assume complete disallow
        else:
            lines = text.splitlines()
        parser = urllib.robotparser.RobotFileParser()
        parser.parse(lines)
        signals = {}
        for line in lines:
            if line.lower().startswith("content-signal:"):
                for part in line.split(":", 1)[1].split(","):
                    key, _, value = part.strip().partition("=")
                    signals[key.strip().lower()] = value.strip().lower()
        _rules[root] = (parser, signals)
    return _rules[root]


def may_collect_for_training(url):
    parser, signals = site_rules(url)
    return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no"


print(may_collect_for_training("https://example.com/some/page"))

Wie gehe ich mit personenbezogenen Daten in einem Webkorpus um?

Weniger sammeln, dann mehr entfernen. Unter GDPR und ähnlichen Gesetzen heißt öffentlich nicht frei nutzbar: Namen, E-Mails, Telefonnummern und Profilseiten sind personenbezogene Daten, wo immer sie vorkommen.

• Von vornherein ausschließen. Profil-, People-Search- und Login-Bereiche sowie Seiten, deren Hauptinhalt personenbezogene Daten sind, überspringen.
• Nach Sammlung filtern. E-Mails, Telefonnummern und Identifikatoren erkennen und entfernen, bevor die Daten ins Training gehen.
• Rechtsgrundlage dokumentieren. Die EDPB-Stellungnahme 28/2024 und die CNIL-Empfehlungen 2025 beschreiben den Interessenabwägungstest für berechtigtes Interesse.
• Einwände berücksichtigen. Eine Möglichkeit anbieten, eine Seite oder Person von künftigen Crawls und gespeicherten Daten zu entfernen.

CrawlRelay's Acceptable Use Policy verbietet das Sammeln personenbezogener Daten in Rechtsverletzung der jeweils geltenden Gesetze.

Wie sollte eine AI-Datenpipeline den Proxy nutzen?

• Ein Sub-User pro Crawl mit Traffic-Limit, damit ein Fehllauf den Plan nicht leert und jede Datenmenge eigene Nutzungsdaten hat.
• Für Reichweite rotieren. Unabhängige Seiten durch verschiedene Residential-Proxys; Sticky Sessions nur für paginierte Abläufe.
• Limits pro Host. Zwei bis vier gleichzeitige Anfragen pro Seite, mehr nur bei großen, schnellen Seiten. Siehe den Concurrency-Guide.
• Einmal holen. URLs deduplizieren, If-Modified-Since bei Nach-Crawls verwenden und rohe Antworten speichern (z. B. als WARC), damit du nie zweimal für dieselbe Seite zahlst.
• Crawler identifizieren. Ein klarer User Agent mit Kontakt-URL ermöglicht, dass Seitenbetreiber dich erreichen statt dich zu blockieren.