Proxies para datos de entrenamiento de IA y corpora web LLM

¿Cuánto tráfico proxy necesita un corpus de entrenamiento de IA?

Descarga HTML y texto, no páginas renderizadas, y el volumen se mantiene manejable. Con 50 KB por página HTML comprimida:

¿Realmente necesito proxies para datos de entrenamiento de IA?

A menudo no para la mayor parte. Antes de rastrear, revisa tres fuentes más económicas:

• Rastreos abiertos. Common Crawl publica petabytes de archivos web recopilados por su rastreador CCBot.
• Volcados oficiales y APIs. Wikipedia, muchos gobiernos, portales de datos abiertos y repositorios de investigación publican descargas y APIs con licencias claras.
• Datos con licencia. Editores y plataformas venden o licencian acceso cada vez más, y el pago por rastreo de Cloudflare usa HTTP 402 para poner precio al rastreo.

Los proxies justifican su coste en el resto: páginas públicas frescas que no están en rastreos abiertos, contenido que cambia por país o ciudad, y sitios que sirven ediciones diferentes según región. Las salidas proxy residenciales te permiten recopilar lo que ve un visitante local.

¿Qué reglas aplican a los rastreadores de datos de IA en 2026?

Cuatro capas importan, de lo técnico a lo legal:

1. robots.txt (RFC 9309). La forma estándar en que un sitio indica qué rutas pueden descargar clientes automatizados. Analízalo por sitio, aplica el grupo para el user agent de tu rastreador o para *, y no lo caches más de 24 horas, como recomienda el RFC.
2. Señales específicas para IA. La Política de Señales de Contenido de Cloudflare agrega valores ai-train, ai-input y search en robots.txt; más de 3.8 millones de dominios usan robots.txt gestionados por Cloudflare. El grupo de trabajo aipref del IETF está redactando un vocabulario estándar, todavía sin consenso en octubre de 2026.
3. Exclusiones para minería de texto y datos en la UE. Según las normas de copyright de la UE para minería de texto y datos y el Artículo 53 de la Ley de IA, los proveedores de modelos IA de propósito general deben respetar reservas de derechos legibles por máquina. En Kneschke v. LAION (Tribunal Regional Superior de Hamburgo, 10 de diciembre de 2025), LAION, una asociación de investigación sin ánimo de lucro, se basó en la excepción de investigación científica, y una reserva en lenguaje claro no fue considerada legible por máquina con tecnología de 2021; el tribunal indicó que esto podría cambiar y se permitió apelación al Tribunal Federal de Justicia. Para un rastreador comercial, trata las reservas en lenguaje claro en términos de uso como vinculantes hoy.
4. Datos personales. La Opinión 28/2024 del EDPB indica que el interés legítimo puede ser base legal para entrenamiento de IA, caso por caso, y la CNIL publicó recomendaciones sobre scraping para IA en junio de 2025.

Esto no es asesoría legal. Lee nuestro resumen de la ley de scraping web 2026 y consulta a un abogado para tu proyecto.

¿Cómo verifico robots.txt y las señales de entrenamiento de IA antes de rastrear?

Verifica ambos antes de poner en cola cualquier URL de un sitio. La función abajo descarga robots.txt vía proxy, aplica las reglas RFC 9309 para archivos faltantes (4xx) o inaccesibles (5xx), y lee una línea Content-Signal al estilo Cloudflare. Es deliberadamente simple: aplica cualquier ai-train=no en el archivo a tu rastreador.

import urllib.robotparser
from urllib.parse import urlsplit

import requests

PROXY = "http://USERNAME:[email protected]:7777"
PROXIES = {"http": PROXY, "https": PROXY}
USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)"
_rules = {}


def site_rules(url):
    """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most)."""
    scheme, host = urlsplit(url)[:2]
    root = "%s://%s" % (scheme, host)
    if root not in _rules:
        try:
            r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30),
                             headers={"User-Agent": USER_AGENT})
            status, text = r.status_code, r.text
        except requests.RequestException:
            status, text = 599, ""
        if 400 <= status < 500:
            lines = []  # RFC 9309: unavailable, crawling allowed
        elif status >= 500:
            lines = ["User-agent: *", "Disallow: /"]  # unreachable: assume complete disallow
        else:
            lines = text.splitlines()
        parser = urllib.robotparser.RobotFileParser()
        parser.parse(lines)
        signals = {}
        for line in lines:
            if line.lower().startswith("content-signal:"):
                for part in line.split(":", 1)[1].split(","):
                    key, _, value = part.strip().partition("=")
                    signals[key.strip().lower()] = value.strip().lower()
        _rules[root] = (parser, signals)
    return _rules[root]


def may_collect_for_training(url):
    parser, signals = site_rules(url)
    return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no"


print(may_collect_for_training("https://example.com/some/page"))

¿Cómo manejo datos personales en un corpus web?

Recoge menos y luego elimina más. Bajo el GDPR y leyes similares, público no significa libre para usar: nombres, emails, teléfonos y páginas de perfil son datos personales dondequiera que aparezcan.

• Excluir por diseño. Salta áreas de perfil, búsqueda de personas y acceso solo para usuarios, y sitios cuyo contenido principal sea datos personales.
• Filtrar después de la recolección. Detecta y elimina emails, teléfonos e identificadores antes de que los datos lleguen al entrenamiento.
• Documenta tu base legal. La Opinión 28/2024 del EDPB y las recomendaciones 2025 de la CNIL describen la prueba de ponderación para interés legítimo.
• Respeta objeciones. Mantén una forma de eliminar un sitio o persona de rastreos futuros y de los datos almacenados.

La Política de Uso Aceptable de CrawlRelay prohíbe recoger datos personales en violación de la ley que le corresponda.

¿Cómo debe usar un pipeline de datos IA el proxy?

• Un subusuario por rastreo con límite de tráfico, para que un trabajo fuera de control no agote el plan y cada conjunto de datos tenga su registro de uso.
• Rotar para amplitud. Páginas independientes salen por diferentes salidas proxy; usa sesiones fijas solo para flujos paginados.
• Límite por host. Dos a cuatro solicitudes simultáneas por sitio, más solo para sitios grandes que responden rápido. Consulta la guía de concurrencia.
• Descarga una vez. Elimina URLs duplicadas, usa If-Modified-Since en rastreos repetidos, y guarda respuestas crudas (por ejemplo, WARC) para no pagar dos veces una misma página.
• Identifica tu rastreador. Un user agent claro con URL de contacto permite que los propietarios te contacten en vez de bloquearte.