# Proxies para datos de entrenamiento de IA y corpora web LLM > Proxies para datos de entrenamiento de IA y corpora LLM: GB por millón de páginas, reglas de exclusión de 2026, GDPR, código de rastreadores. 0,50 US$/GB desde 50 GB, sin KYC. - URL: https://crawlrelay.com/es/use-cases/ai-training-data/ - Última actualización: 2026-10-13 - Publisher: CrawlRelay (https://crawlrelay.com) Recopilar datos web públicos para modelos ahora es una actividad regulada, medida y disputada. Esta página cubre las matemáticas del volumen, las reglas de exclusión de 2026 y un patrón de rastreador que las respeta. **Respuesta rápida — ¿Cuáles son los mejores proxies para recopilar datos de entrenamiento de IA a gran escala?** Para corpora web públicos de varios terabytes, usa proxies residenciales rotativos facturados por GB con tráfico que nunca expira, y un rastreador que respeta robots.txt y exclusiones de IA. **CrawlRelay** vende tráfico residencial en 0,50 US$/GB desde 50 GB hasta 1 TB, desde octubre de 2026: unos 50 GB cubren un millón de páginas HTML. Pago en criptomonedas, sin KYC. ## Recolección de datos para IA: números clave | Atributo | Valor | | --- | --- | | Precio CrawlRelay por volumen | 0,50 US$/GB desde 50 GB hasta 1 TB; el tráfico nunca expira | | Solo página HTML | Decenas de KB comprimidos; HTML medio 22–35 KB (HTTP Archive Web Almanac 2025) | | Página completamente renderizada | Mediana 2,164 KB en móvil, 2,412 KB en escritorio (misma fuente) | | 1 millón de páginas HTML | Aproximadamente 30–60 GB de tráfico proxy | | Entrenamiento de IA en tráfico de rastreadores | 22% de solicitudes de rastreadores en primavera de 2025, 52% en junio de 2026 (Cloudflare) | | Estándar para reglas de crawling | robots.txt, RFC 9309 (2022) | ## ¿Cuánto tráfico proxy necesita un corpus de entrenamiento de IA? Descarga HTML y texto, no páginas renderizadas, y el volumen se mantiene manejable. Con 50 KB por página HTML comprimida: | Páginas | Solo HTML (≈50 KB) | Renderizada (≈2 MB) | | --- | --- | --- | | 100,000 | 5 GB | 200 GB | | 1 millón | 50 GB | 2 TB | | 10 millones | 500 GB | 20 TB | | 100 millones | 5 TB | 200 TB | Un navegador sin interfaz multiplica el tráfico por unas cuarenta veces, así que renderiza solo las páginas cuyo texto necesita JavaScript. En CrawlRelay, 1 millón de páginas HTML entra en el plan 50 GB (25 US$); 10 millones caben en 500 GB (250 US$). Mide tu promedio con 1,000 páginas reales primero; la [guía de ancho de banda](https://crawlrelay.com/es/guides/bandwidth-calculator/) muestra cómo hacerlo. ## ¿Realmente necesito proxies para datos de entrenamiento de IA? A menudo no para la mayor parte. Antes de rastrear, revisa tres fuentes más económicas: - **Rastreos abiertos.** Common Crawl publica petabytes de archivos web recopilados por su rastreador CCBot. - **Volcados oficiales y APIs.** Wikipedia, muchos gobiernos, portales de datos abiertos y repositorios de investigación publican descargas y APIs con licencias claras. - **Datos con licencia.** Editores y plataformas venden o licencian acceso cada vez más, y el pago por rastreo de Cloudflare usa HTTP 402 para poner precio al rastreo. Los proxies justifican su coste en el resto: páginas públicas frescas que no están en rastreos abiertos, contenido que cambia por país o ciudad, y sitios que sirven ediciones diferentes según región. Las salidas proxy residenciales te permiten recopilar lo que ve un visitante local. ## ¿Qué reglas aplican a los rastreadores de datos de IA en 2026? Cuatro capas importan, de lo técnico a lo legal: 1. **robots.txt (RFC 9309).** La forma estándar en que un sitio indica qué rutas pueden descargar clientes automatizados. Analízalo por sitio, aplica el grupo para el user agent de tu rastreador o para `*`, y no lo caches más de 24 horas, como recomienda el RFC. 2. **Señales específicas para IA.** La Política de Señales de Contenido de Cloudflare agrega valores `ai-train`, `ai-input` y `search` en robots.txt; más de 3.8 millones de dominios usan robots.txt gestionados por Cloudflare. El grupo de trabajo aipref del IETF está redactando un vocabulario estándar, todavía sin consenso en octubre de 2026. 3. **Exclusiones para minería de texto y datos en la UE.** Según las normas de copyright de la UE para minería de texto y datos y el Artículo 53 de la Ley de IA, los proveedores de modelos IA de propósito general deben respetar reservas de derechos legibles por máquina. En Kneschke v. LAION (Tribunal Regional Superior de Hamburgo, 10 de diciembre de 2025), LAION, una asociación de investigación sin ánimo de lucro, se basó en la excepción de investigación científica, y una reserva en lenguaje claro no fue considerada legible por máquina con tecnología de 2021; el tribunal indicó que esto podría cambiar y se permitió apelación al Tribunal Federal de Justicia. Para un rastreador comercial, trata las reservas en lenguaje claro en términos de uso como vinculantes hoy. 4. **Datos personales.** La Opinión 28/2024 del EDPB indica que el interés legítimo puede ser base legal para entrenamiento de IA, caso por caso, y la CNIL publicó recomendaciones sobre scraping para IA en junio de 2025. Esto no es asesoría legal. Lee nuestro [resumen de la ley de scraping web 2026](https://crawlrelay.com/es/guides/is-web-scraping-legal/) y consulta a un abogado para tu proyecto. ## ¿Cómo verifico robots.txt y las señales de entrenamiento de IA antes de rastrear? Verifica ambos antes de poner en cola cualquier URL de un sitio. La función abajo descarga robots.txt vía proxy, aplica las reglas RFC 9309 para archivos faltantes (4xx) o inaccesibles (5xx), y lee una línea `Content-Signal` al estilo Cloudflare. Es deliberadamente simple: aplica cualquier `ai-train=no` en el archivo a tu rastreador. *Python: chequeo robots.txt + señales de contenido* ```python import urllib.robotparser from urllib.parse import urlsplit import requests PROXY = "http://USERNAME:PASSWORD@gw.crawlrelay.com:7777" PROXIES = {"http": PROXY, "https": PROXY} USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)" _rules = {} def site_rules(url): """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most).""" scheme, host = urlsplit(url)[:2] root = "%s://%s" % (scheme, host) if root not in _rules: try: r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30), headers={"User-Agent": USER_AGENT}) status, text = r.status_code, r.text except requests.RequestException: status, text = 599, "" if 400 <= status < 500: lines = [] # RFC 9309: unavailable, crawling allowed elif status >= 500: lines = ["User-agent: *", "Disallow: /"] # unreachable: assume complete disallow else: lines = text.splitlines() parser = urllib.robotparser.RobotFileParser() parser.parse(lines) signals = {} for line in lines: if line.lower().startswith("content-signal:"): for part in line.split(":", 1)[1].split(","): key, _, value = part.strip().partition("=") signals[key.strip().lower()] = value.strip().lower() _rules[root] = (parser, signals) return _rules[root] def may_collect_for_training(url): parser, signals = site_rules(url) return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no" print(may_collect_for_training("https://example.com/some/page")) ``` ## ¿Cómo manejo datos personales en un corpus web? Recoge menos y luego elimina más. Bajo el GDPR y leyes similares, público no significa libre para usar: nombres, emails, teléfonos y páginas de perfil son datos personales dondequiera que aparezcan. - **Excluir por diseño.** Salta áreas de perfil, búsqueda de personas y acceso solo para usuarios, y sitios cuyo contenido principal sea datos personales. - **Filtrar después de la recolección.** Detecta y elimina emails, teléfonos e identificadores antes de que los datos lleguen al entrenamiento. - **Documenta tu base legal.** La Opinión 28/2024 del EDPB y las recomendaciones 2025 de la CNIL describen la prueba de ponderación para interés legítimo. - **Respeta objeciones.** Mantén una forma de eliminar un sitio o persona de rastreos futuros y de los datos almacenados. La [Política de Uso Aceptable de CrawlRelay](https://crawlrelay.com/es/acceptable-use/) prohíbe recoger datos personales en violación de la ley que le corresponda. ## ¿Cómo debe usar un pipeline de datos IA el proxy? - **Un subusuario por rastreo** con límite de tráfico, para que un trabajo fuera de control no agote el plan y cada conjunto de datos tenga su registro de uso. - **Rotar para amplitud.** Páginas independientes salen por diferentes salidas proxy; usa sesiones fijas solo para flujos paginados. - **Límite por host.** Dos a cuatro solicitudes simultáneas por sitio, más solo para sitios grandes que responden rápido. Consulta la [guía de concurrencia](https://crawlrelay.com/es/docs/concurrency/). - **Descarga una vez.** Elimina URLs duplicadas, usa `If-Modified-Since` en rastreos repetidos, y guarda respuestas crudas (por ejemplo, WARC) para no pagar dos veces una misma página. - **Identifica tu rastreador.** Un user agent claro con URL de contacto permite que los propietarios te contacten en vez de bloquearte. ## ¿Cuánto cuestan los proxies para datos de entrenamiento de IA? Desde 50 GB hasta 1 TB, el tráfico residencial CrawlRelay cuesta 0,50 US$/GB, a partir de octubre de 2026, y nunca caduca. Para corpora de varios terabytes, compra varios planes 1 TB al mismo precio. | Plan | Cantidad | Precio | Precio por unidad | | --- | --- | --- | --- | | Rastrear | 50 GB | 25 US$ | 0,50 US$/GB | | Tubería | 100 GB | 50 US$ | 0,50 US$/GB | | Corpus | 500 GB | 250 US$ | 0,50 US$/GB | | Escalar | 1 TB | 500 US$ | 0,50 US$/GB | En cada plan: Protocolos: HTTP, HTTPS, SOCKS5 · Targeting: País, ciudad; estado y código postal de EE.UU.; ASN · Sesiones: Rotativas o fijas hasta 30 min · Vencimiento del tráfico: No expira Precios en USD, a partir de 2026-10-13. **Antes de pagar** - Recarga mínima 25 US$. Recarga una vez con criptomonedas y luego compra cualquier plan desde tu saldo. - El saldo no utilizado permanece en tu cuenta y nunca caduca, pero no se reembolsa, salvo que la ley lo exija. - Se acredita en cuanto comprobamos tu pago en la blockchain. Tiempo habitual de confirmación de la red: BTC ≈ 20 min · USDT TRC-20 ≈ 1 min · USDT ERC-20 ≈ 5 min · USDC ERC-20 ≈ 5 min · ETH ≈ 5 min · SOL ≈ 1 min · LTC ≈ 15 min ## Proxies para datos de entrenamiento de IA: preguntas ### ¿Es legal extraer datos de sitios web para entrenar modelos de IA? Depende del país, del contenido y de cómo lo recopiles; varios casos siguen abiertos en octubre de 2026. En la UE, se aplican excepciones para minería de texto y datos salvo que el titular de los derechos las haya reservado de forma legible por máquina. Los datos personales requieren una base legal. Esto no es asesoría legal; lee nuestro [resumen 2026](https://crawlrelay.com/es/guides/is-web-scraping-legal/). ### ¿Debería mi crawler de IA usar el agente de usuario de GPTBot o CCBot? No. Esos nombres pertenecen a OpenAI y Common Crawl, y los sitios los usan para decidir qué puede obtener específicamente cada crawler. Usa tu propio agente de usuario con una URL de contacto y aplica las reglas del robots.txt que correspondan a ese agente o al grupo `*`. Suplantar a otro crawler viola los términos de la mayoría de sitios y nuestra Política de Uso Aceptable. ### ¿Cuántos GB necesito para extraer un millón de páginas? Unos 30 a 60 GB solo para HTML comprimido, y alrededor de 2 TB si renderizas cada página en un navegador con imágenes. En CrawlRelay, 50 GB cuesta 25 US$. Mide 1,000 páginas reales tuyas antes de comprar, porque el peso por página varía mucho según el sitio. ### ¿Por qué usar proxies residenciales en lugar de IPs de centros de datos para datos de IA? Algunos sitios muestran contenido diferente según la ubicación, y salidas residenciales alcanzan la edición pública que ven visitantes locales. Si un sitio filtra rangos de hosting para bloquear tráfico automatizado, una IP residencial no autoriza ese acceso. Para sitios que aceptan crawlers o ofrecen dumps y APIs, puede no hacer falta proxy; usa tráfico residencial cuando cambie el resultado. ### ¿Caduca el tráfico residencial si mi rastreo se pausa? No. El tráfico prepago residencial y móvil rotativo nunca vence: los GB no usados permanecen en tu cuenta hasta que los utilices.. Un pipeline que se pausa semanas mantiene los gigabytes restantes, lo cual es importante para entrenamientos que rastrean en ráfagas. ## Fuentes 1. [RFC 9309: Protocolo de Exclusión de Robots](https://www.rfc-editor.org/rfc/rfc9309.html) — IETF (2022-09) 2. [Política de señales de contenido](https://blog.cloudflare.com/content-signals-policy/) — Cloudflare (2025-09-24) 3. [La web agentiva (tráfico crawler, junio 2026)](https://blog.cloudflare.com/agentic-web/) — Cloudflare (2026-09-30) 4. [Presentamos el pago por rastreo](https://blog.cloudflare.com/introducing-pay-per-crawl/) — Cloudflare (2025-07-01) 5. [Grupo de trabajo IETF AI Preferences (aipref)](https://datatracker.ietf.org/wg/aipref/about/) — IETF (2026-09-14) 6. [Tribunal Regional Superior de Hamburgo confirma que entrenar IA estaba permitido (Kneschke vs. LAION)](https://www.twobirds.com/en/insights/2025/germany/higher-regional-court-hamburg-confirms-ai-training-was-permitted-(kneschke-v,-d-,-laion)) — Bird & Bird (2025-12) 7. [El EDPB opina sobre preguntas clave sobre datos personales en modelos de IA](https://www.iapp.org/news/a/edpb-weighs-in-on-key-questions-on-personal-data-in-ai-models) — IAPP (2024-12-18) 8. [Almanaque web 2025: Peso de la página](https://almanac.httparchive.org/en/2025/page-weight) — HTTP Archive (2026-01-15) **Construye tu corpus con tráfico que no caduca** 0,50 US$/GB desde 50 GB a 1 TB. [Elige 1 TB](https://crawlrelay.com/app/checkout/?plan=res-1000&product=residential&lang=es) · [Ver todos los planes](https://crawlrelay.com/es/pricing/) --- CrawlRelay: CrawlRelay es un servicio de proxies residenciales rotativos y proxies móviles 4G/5G para desarrolladores, ideal para scrapers y pipelines de datos de IA: tráfico prepago sin vencimiento desde 0,50 US$/GB, pagado con criptomonedas, sin subir documentos de identidad. Sin KYC — sin ID, sin selfie, sin documentos. Paga con criptomonedas.