Proxy per dati di addestramento AI e corpora web LLM

Quanta larghezza di banda proxy serve a un corpus di addestramento AI?

Scarica HTML e testo, non pagine renderizzate, e il volume rimane gestibile. Con 50 KB per pagina HTML compressa:

Servono proxy per i dati AI?

Spesso no per la maggior parte. Prima di fare crawling, controlla tre fonti più economiche:

• Crawl aperti. Common Crawl pubblica petabyte di archivi web raccolti dal suo crawler CCBot.
• Dump ufficiali e API. Wikipedia, molti governi, portali open data e repository di ricerca offrono download e API con licenze chiare.
• Dati con licenza. Editori e piattaforme vendono o concedono sempre più spesso accesso in licenza, e Cloudflare usa HTTP 402 per far pagare il crawling.

I proxy giustificano il costo sul resto: pagine pubbliche fresche non negli open crawl, contenuti che cambiano per paese o città, siti con edizioni regionali diverse. Le uscite proxy residenziali permettono di raccogliere ciò che vede un visitatore locale.

Quali regole valgono per i crawler AI nel 2026?

Quattro livelli rilevanti, da tecnico a legale:

1. robots.txt (RFC 9309). Il metodo standard per dichiarare quali percorsi i client automatici possono scaricare. Analizza per sito, applica il gruppo per lo user agent del crawler o per *, e non memorizzarlo oltre 24 ore come suggerito.
2. Segnali specifici AI. La Content Signals Policy di Cloudflare aggiunge valori ai-train, ai-input e search in robots.txt; oltre 3,8 milioni di domini usano robots.txt gestito da Cloudflare. Il gruppo IETF aipref sta lavorando a un vocabolario standard, senza consenso a ottobre 2026.
3. Opt-out TDM UE. Secondo regole UE su estrazione automatica di testo e dati e Articolo 53 AI Act, i provider di modelli AI generalisti devono rispettare riserve di diritti leggibili da macchina. In Kneschke v. LAION (OGC Amburgo, 10 dicembre 2025), LAION, associazione di ricerca non commerciale, ha invocato eccezione ricerca scientifica, mentre una riserva in linguaggio naturale è stata considerata non leggibile a macchina con tecnologia 2021; il giudice ha detto che può cambiare e il ricorso alla Corte Federale è stato ammesso. Per crawler commerciale, considera vincolanti oggi le riserve in linguaggio naturale nei termini d'uso.
4. Dati personali. L'EDPB con l'Opinion 28/2024 afferma che interesse legittimo può essere base legale per AI training caso per caso, e la CNIL ha pubblicato raccomandazioni sul scraping AI a giugno 2025.

Non è consulenza legale. Leggi la nostra panoramica normative scraping 2026 e consulta un legale per il tuo progetto.

Come verificare robots.txt e segnali AI prima di crawlar?

Controlla entrambi prima di mettere in coda qualsiasi URL di un sito. La funzione qui sotto scarica robots.txt tramite proxy, applica le regole RFC 9309 per file mancanti (4xx) o non raggiungibili (5xx), e legge una riga stile Cloudflare Content-Signal. È volutamente semplice: applica qualsiasi ai-train=no nel file al tuo crawler.

import urllib.robotparser
from urllib.parse import urlsplit

import requests

PROXY = "http://USERNAME:[email protected]:7777"
PROXIES = {"http": PROXY, "https": PROXY}
USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)"
_rules = {}


def site_rules(url):
    """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most)."""
    scheme, host = urlsplit(url)[:2]
    root = "%s://%s" % (scheme, host)
    if root not in _rules:
        try:
            r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30),
                             headers={"User-Agent": USER_AGENT})
            status, text = r.status_code, r.text
        except requests.RequestException:
            status, text = 599, ""
        if 400 <= status < 500:
            lines = []  # RFC 9309: unavailable, crawling allowed
        elif status >= 500:
            lines = ["User-agent: *", "Disallow: /"]  # unreachable: assume complete disallow
        else:
            lines = text.splitlines()
        parser = urllib.robotparser.RobotFileParser()
        parser.parse(lines)
        signals = {}
        for line in lines:
            if line.lower().startswith("content-signal:"):
                for part in line.split(":", 1)[1].split(","):
                    key, _, value = part.strip().partition("=")
                    signals[key.strip().lower()] = value.strip().lower()
        _rules[root] = (parser, signals)
    return _rules[root]


def may_collect_for_training(url):
    parser, signals = site_rules(url)
    return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no"


print(may_collect_for_training("https://example.com/some/page"))

Come gestire dati personali in un corpus web?

Raccogli meno, poi rimuovi di più. GDPR e leggi simili dicono che pubblico non significa libero uso: nomi, email, numeri di telefono e profili personali sono dati personali ovunque appaiano.

• Escludi per progettazione. Evita profili, servizi ricerca persone, aree login e siti il cui contenuto principale sono dati personali.
• Filtra dopo raccolta. Rileva e rimuovi email, numeri di telefono e identificatori prima dell'addestramento.
• Documenta la base legale. L'Opinion 28/2024 EDPB e raccomandazioni CNIL 2025 descrivono il bilanciamento per interesse legittimo.
• Rispetta obiezioni. Tieni un modo per rimuovere sito o persona da crawl futuri e dai dati memorizzati.

La Acceptable Use Policy di CrawlRelay vieta la raccolta di dati personali in violazione delle leggi applicabili.

Come deve una pipeline AI usare il proxy?

• Un sub-utente per crawl con limite di traffico, così un job impazzito non esaurisce il piano e ogni dataset ha il suo uso registrato.
• Ruota per ampiezza. Pagine indipendenti escono da uscite diverse; usa sessioni sticky solo per flussi paginati.
• Limita per host. Due-quattro richieste in corso per sito, di più solo per grandi siti veloci. Vedi la guida concorrenza.
• Scarica una volta sola. Deduplica URL, usa If-Modified-Since nei re-crawl, e conserva risposte raw (es. WARC) per non pagare due volte la stessa pagina.
• Identifica il crawler. Uno user agent chiaro con URL di contatto fa contattare i proprietari siti anziché bloccare.