Proxy's voor AI-trainingsdata en LLM-webcorpora

Hoeveel proxyverkeer heeft een AI-trainingscorpus nodig?

Haal HTML en tekst op, geen gerenderde pagina's, zo blijft het volume beheersbaar. Met 50 KB per gecomprimeerde HTML-pagina:

Heb ik wel proxy's nodig voor AI-trainingsdata?

Vaak niet voor het grootste deel. Voordat je gaat crawlen, controleer drie goedkopere bronnen:

• Open crawls. Common Crawl publiceert petabytes aan webarchieven verzameld door de CCBot crawler.
• Officiële dumps en API's. Wikipedia, veel overheden, open-data portals en onderzoeksrepositories publiceren downloads en API's met duidelijke licenties.
• Gelicentieerde data. Uitgevers en platforms verkopen of licentiëren steeds vaker toegang, en Cloudflare’s pay-per-crawl gebruikt HTTP 402 om een prijs te zetten op crawlen.

Proxy's verdienen hun kosten terug op de rest: verse openbare pagina's die niet in open crawls zitten, inhoud die per land of stad verandert, en sites die regionale edities serveren. Residentiële exits laten je verzamelen wat een lokale bezoeker ziet.

Welke regels gelden voor AI-datacrawlers in 2026?

Vier lagen zijn belangrijk, van technisch tot juridisch:

1. robots.txt (RFC 9309). De standaardmanier waarop een site aangeeft welke paden geautomatiseerde clients mogen ophalen. Parse het per site, pas de groep toe voor de user agent van je crawler of voor *, en cache het niet langer dan 24 uur, zoals de RFC adviseert.
2. AI-specifieke signalen. Cloudflare's Content Signals Policy voegt ai-train, ai-input en search waarden toe in robots.txt; meer dan 3,8 miljoen domeinen gebruiken Cloudflare’s beheerde robots.txt. De IETF aipref werkgroep stelt een standaardaard vocabulaire op, nog zonder consensus in oktober 2026.
3. EU-opt-outs voor tekst-en-data-mining. Onder de EU-copyrightregels voor text en data mining en Artikel 53 van de AI-wet moeten aanbieders van algemene AI-modellen machineleesbare rechtenreserveringen respecteren. In Kneschke tegen LAION (Hamburg Higher Regional Court, 10 december 2025) baseerde LAION, een non-commerciële onderzoeksassociatie, zich op de uitzondering voor wetenschappelijk onderzoek, en een tekstuele reservering werd niet als machineleesbaar beoordeeld met 2021-technologie; de rechtbank zei dat dit kan veranderen en een beroep bij het Bundesgerichtshof werd toegelaten. Voor een commerciële crawler behandel tekstuele reserveringen in gebruiksvoorwaarden vandaag als bindend.
4. Persoonsgegevens. De EDPB's Opinie 28/2024 zegt dat gerechtvaardigd belang een rechtsgrond kan zijn voor AI-training, per geval, en de CNIL publiceerde aanbevelingen over scrapen voor AI in juni 2025.

Dit is geen juridisch advies. Lees onze 2026 overzicht van web scraping wetten en vraag juridisch advies voor je project.

Hoe controleer ik robots.txt en AI-trainingssignalen voordat ik crawl?

Controleer beide voordat je een URL van een site in de wachtrij zet. De functie hieronder haalt robots.txt via de proxy op, past RFC 9309-regels toe voor ontbrekende (4xx) en onbereikbare (5xx) bestanden, en leest een Cloudflare-stijl Content-Signal regel. Het is bewust simpel: het past elke ai-train=no in het bestand toe op je crawler.

import urllib.robotparser
from urllib.parse import urlsplit

import requests

PROXY = "http://USERNAME:[email protected]:7777"
PROXIES = {"http": PROXY, "https": PROXY}
USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)"
_rules = {}


def site_rules(url):
    """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most)."""
    scheme, host = urlsplit(url)[:2]
    root = "%s://%s" % (scheme, host)
    if root not in _rules:
        try:
            r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30),
                             headers={"User-Agent": USER_AGENT})
            status, text = r.status_code, r.text
        except requests.RequestException:
            status, text = 599, ""
        if 400 <= status < 500:
            lines = []  # RFC 9309: unavailable, crawling allowed
        elif status >= 500:
            lines = ["User-agent: *", "Disallow: /"]  # unreachable: assume complete disallow
        else:
            lines = text.splitlines()
        parser = urllib.robotparser.RobotFileParser()
        parser.parse(lines)
        signals = {}
        for line in lines:
            if line.lower().startswith("content-signal:"):
                for part in line.split(":", 1)[1].split(","):
                    key, _, value = part.strip().partition("=")
                    signals[key.strip().lower()] = value.strip().lower()
        _rules[root] = (parser, signals)
    return _rules[root]


def may_collect_for_training(url):
    parser, signals = site_rules(url)
    return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no"


print(may_collect_for_training("https://example.com/some/page"))

Hoe ga ik om met persoonsgegevens in een webcorpus?

Verzamel minder, verwijder daarna meer. Onder de GDPR en soortgelijke wetten betekent openbaar niet vrij te gebruiken: namen, e-mails, telefoonnummers en profielpagina's zijn persoonsgegevens waar ze ook verschijnen.

• Sluit uit bij ontwerp. Sla profiel-, persoonszoek- en login-alleen gebieden over, en sites waarvan de hoofdinformatie persoonsgegevens bevat.
• Filter na verzameling. Detecteer en verwijder e-mails, telefoonnummers en ID's voordat data naar training gaat.
• Documenteer je rechtsgrond. De EDPB’s Opinie 28/2024 en de 2025-aanbevelingen van CNIL omschrijven de belangenafweging voor gerechtvaardigd belang.
• Respecteer bezwaren. Zorg dat je een site of persoon kunt verwijderen uit toekomstige crawls en uit opgeslagen data.

CrawlRelay's Acceptable Use Policy verbiedt het verzamelen van persoonsgegevens in strijd met de toepasselijke wetgeving.

Hoe gebruikt een AI-datapijplijn de proxy?

• Één subgebruiker per crawl met een verkeerslimiet, zodat een runaway job het plan niet leegmaakt en elke dataset zijn eigen gebruiksrecord heeft.
• Draai voor breedte. Onafhankelijke pagina's gaan via verschillende exits; gebruik sticky sessions alleen voor paginastromen.
• Limiet per host. Twee tot vier requests tegelijk per site, meer alleen voor grote snelle sites. Zie de concurrency guide.
• Haalt elk adres eenmaal op. Vermijd duplicaten, gebruik If-Modified-Since bij herhaalcrawlen, en sla rauwe responses op (bijvoorbeeld als WARC) zodat je nooit dubbel betaalt voor dezelfde pagina.
• Identificeer je crawler. Een duidelijke user agent met contact-URL laat site-eigenaren je bereiken in plaats van blokkeren.