Proxies pour données d'entraînement IA et corpus web LLM

Quelle quantité de trafic proxy un corpus d'entraînement IA nécessite-t-il ?

Récupérez HTML et texte, pas des pages rendues, et le volume reste gérable. Avec 50 Ko par page HTML compressée :

Ai-je besoin de proxies pour les données d'entraînement IA ?

Souvent pas pour la majorité. Avant de crawler, vérifiez trois sources moins coûteuses :

• Crawls ouverts. Common Crawl publie des pétaoctets d'archives web collectées par son crawler CCBot.
• Dumps officiels et APIs. Wikipédia, de nombreux gouvernements, portails open data et dépôts de recherche publient des téléchargements et APIs avec licences claires.
• Données sous licence. Éditeurs et plateformes vendent ou concèdent de plus en plus l'accès, et Cloudflare facture le crawling via HTTP 402.

Les proxies justifient leur coût pour le reste : pages publiques fraîches non présentes dans les crawls ouverts, contenu variant par pays ou ville, sites servant des éditions régionales différentes. Les sorties proxy résidentiel vous permettent de collecter ce qu'un visiteur local voit.

Quelles règles s'appliquent aux crawlers de données IA en 2026 ?

Quatre niveaux comptent, du technique au légal :

1. robots.txt (RFC 9309). La méthode standard pour indiquer les chemins qu’un client automatisé peut récupérer. Analysez par site, appliquez le groupe pour l’user agent de votre crawler ou *, et ne le mettez pas en cache plus de 24 heures, comme le recommande le RFC.
2. Signaux spécifiques IA. La Content Signals Policy de Cloudflare ajoute des valeurs ai-train, ai-input et search dans robots.txt ; plus de 3,8 millions de domaines utilisent ce robots.txt géré. Le groupe de travail IETF aipref prépare un vocabulaire standard, sans consensus en octobre 2026.
3. Exclusions text-and-data-mining UE. Selon les règles EU sur le text-and-data-mining et l'article 53 de l'AI Act, les fournisseurs de modèles IA généralistes doivent respecter les réserves de droits lisibles machine. Dans l'affaire Kneschke c. LAION (Cour régionale supérieure de Hambourg, 10 décembre 2025), LAION, association de recherche non commerciale, s’est appuyée sur l’exception recherche scientifique ; une réserve en langage clair fut jugée non lisible machine avec la techno 2021 ; la cour a indiqué que cela pourrait changer, un pourvoi en cassation est accepté. Pour un crawler commercial, considérez les réserves en langage clair comme contraignantes aujourd’hui.
4. Données personnelles. L’avis 28/2024 du EDPB indique que l’intérêt légitime peut être une base légale pour l’entraînement IA, au cas par cas, et la CNIL a publié des recommandations sur le scraping pour IA en juin 2025.

Ceci n’est pas un conseil juridique. Lisez notre aperçu 2026 de la loi sur le web scraping et consultez un avocat pour votre projet.

Comment vérifier robots.txt et signaux IA avant de crawler ?

Vérifiez les deux avant de mettre en file d’attente une URL d’un site. La fonction ci-dessous récupère robots.txt via le proxy, applique les règles RFC 9309 pour fichiers manquants (4xx) ou inaccessibles (5xx), et lit une ligne Content-Signal style Cloudflare. Elle est volontairement simple : elle applique tout ai-train=no dans le fichier à votre crawler.

import urllib.robotparser
from urllib.parse import urlsplit

import requests

PROXY = "http://USERNAME:[email protected]:7777"
PROXIES = {"http": PROXY, "https": PROXY}
USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)"
_rules = {}


def site_rules(url):
    """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most)."""
    scheme, host = urlsplit(url)[:2]
    root = "%s://%s" % (scheme, host)
    if root not in _rules:
        try:
            r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30),
                             headers={"User-Agent": USER_AGENT})
            status, text = r.status_code, r.text
        except requests.RequestException:
            status, text = 599, ""
        if 400 <= status < 500:
            lines = []  # RFC 9309: unavailable, crawling allowed
        elif status >= 500:
            lines = ["User-agent: *", "Disallow: /"]  # unreachable: assume complete disallow
        else:
            lines = text.splitlines()
        parser = urllib.robotparser.RobotFileParser()
        parser.parse(lines)
        signals = {}
        for line in lines:
            if line.lower().startswith("content-signal:"):
                for part in line.split(":", 1)[1].split(","):
                    key, _, value = part.strip().partition("=")
                    signals[key.strip().lower()] = value.strip().lower()
        _rules[root] = (parser, signals)
    return _rules[root]


def may_collect_for_training(url):
    parser, signals = site_rules(url)
    return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no"


print(may_collect_for_training("https://example.com/some/page"))

Comment gérer les données personnelles dans un corpus web ?

Collectez moins, puis supprimez plus. Selon le RGPD et lois similaires, public ne signifie pas libre d'usage : noms, emails, numéros de téléphone et pages profil sont des données personnelles où qu'apparaisse.

• Exclure par conception. Évitez profils, outils de recherche de personnes et zones login uniquement, et sites dont le contenu principal est personnel.
• Filtrer après collecte. Détectez et supprimez emails, numéros et identifiants avant l'entraînement.
• Documenter votre base légale. L'avis 28/2024 du EDPB et recommandations CNIL 2025 décrivent le test d’équilibre pour intérêt légitime.
• Respecter les refus. Gardez une méthode pour retirer un site ou individu des prochains crawls et des données stockées.

La politique d'utilisation acceptable de CrawlRelay interdit la collecte de données personnelles en violation de la loi applicable.

Comment un pipeline de données IA doit-il utiliser le proxy ?

• Un sous-utilisateur par crawl avec un plafond de trafic, pour qu’un job débordé ne vide pas le plan et que chaque dataset ait son suivi.
• Rotation pour étendue. Les pages indépendantes sortent par des sorties différentes ; sessions sticky seulement pour les flux paginés.
• Plafond par hôte. Deux à quatre requêtes simultanées par site, plus seulement pour les gros sites rapides. Voir le guide de concurrence.
• Récupérer une fois. Éliminez doublons d’URL, utilisez If-Modified-Since sur les recrawls, stockez les réponses brutes (ex. WARC) pour ne jamais payer deux fois la même page.
• Identifiez votre crawler. Un user agent clair avec URL de contact permet aux propriétaires de sites de vous joindre plutôt que de vous bloquer.