# Proxies para dados de treinamento de IA e corpora web LLM > Proxies para dados de treinamento de IA e corpora LLM: GB por milhão de páginas, regras de opt-out para 2026, GDPR, código do crawler. US$ 0,50/GB a partir de 50 GB, sem KYC. - URL: https://crawlrelay.com/pt/use-cases/ai-training-data/ - Última atualização: 2026-10-13 - Publisher: CrawlRelay (https://crawlrelay.com) Coletar dados públicos da web para modelos é agora uma atividade regulada, medida e contestada. Esta página cobre a matemática do volume, as regras de opt-out para 2026, e um padrão de crawler que as respeita. **Resposta rápida — Quais são os melhores proxies para coletar dados de treinamento de IA em grande escala?** Para corpora públicos da web multi-terabyte, use proxies residenciais rotativos cobrados por GB com tráfego que nunca expira, e um crawler que respeite robots.txt e opt-outs de IA. **CrawlRelay** vende tráfego residencial a partir de US$ 0,50/GB desde 50 GB até 1 TB, a partir de outubro de 2026: cerca de 50 GB cobre um milhão de páginas HTML. Pago com cripto, sem KYC. ## Coleta de dados de IA: números chave | Atributo | Valor | | --- | --- | | Preço do CrawlRelay em volume | US$ 0,50/GB a partir de 50 GB até 1 TB; tráfego que nunca expira | | Página apenas HTML | Dezenas de KB comprimidos; HTML médio 22–35 KB (HTTP Archive Web Almanac 2025) | | Página totalmente renderizada | Média de 2.164 KB no mobile, 2.412 KB no desktop (mesma fonte) | | 1 milhão de páginas HTML | Cerca de 30–60 GB de tráfego proxy | | Treinamento de IA em tráfego de crawler | 22% dos pedidos de crawler na primavera de 2025, 52% em junho de 2026 (Cloudflare) | | Padrão para regras de crawl | robots.txt, RFC 9309 (2022) | ## Quanto tráfego proxy um corpus de treinamento de IA precisa? Busque HTML e texto, não páginas renderizadas, e o volume permanece gerenciável. Com 50 KB por página HTML comprimida: | Páginas | Só HTML (≈50 KB) | Renderizado (≈2 MB) | | --- | --- | --- | | 100,000 | 5 GB | 200 GB | | 1 milhão | 50 GB | 2 TB | | 10 milhões | 500 GB | 20 TB | | 100 milhões | 5 TB | 200 TB | Um navegador headless multiplica o tráfego por cerca de quarenta, então renderize apenas as páginas cujo texto precisa de JavaScript. Na CrawlRelay, 1 milhão de páginas HTML cabem no plano 50 GB (US$ 25); 10 milhões cabem em 500 GB (US$ 250). Meça sua própria média com 1.000 páginas reais primeiro; o [guia de largura de banda](https://crawlrelay.com/pt/guides/bandwidth-calculator/) explica como. ## Preciso mesmo de proxies para dados de treinamento de IA? Frequentemente não para a maior parte. Antes de rastrear, verifique três fontes mais baratas: - **Varreduras abertas.** Common Crawl publica petabytes de arquivos web coletados por seu CCBot crawler. - **Dumps oficiais e APIs.** Wikipedia, muitos governos, portais de dados abertos e repositórios de pesquisa publicam downloads e APIs com licenças claras. - **Dados licenciados.** Editoras e plataformas vendem ou licenciam acesso cada vez mais, e o pay-per-crawl da Cloudflare usa HTTP 402 para precificar o crawling. Proxies justificam seu custo no resto: páginas públicas frescas que não estão em varreduras abertas, conteúdo que muda por país ou cidade, e sites que exibem edições diferentes por região. Saídas residencial permitem coletar o que um visitante local vê. ## Quais regras se aplicam aos crawlers de dados de IA em 2026? Quatro camadas importam, do técnico ao legal: 1. **robots.txt (RFC 9309).** A forma padrão que um site diz quais caminhos clientes automáticos podem buscar. Analise por site, aplique o grupo para o user agent do seu crawler ou para `*`, e não armazene em cache por mais de 24 horas, como recomenda o RFC. 2. **Sinais específicos de IA.** A Content Signals Policy da Cloudflare adiciona valores `ai-train`, `ai-input` e `search` em robots.txt; mais de 3,8 milhões de domínios usam o robots.txt gerenciado pela Cloudflare. O grupo de trabalho aipref da IETF está redigindo um vocabulário padrão, ainda sem consenso em outubro de 2026. 3. **Opt-outs de mineração de texto e dados da UE.** Sob as regras da UE para mineração de texto e dados e o Artigo 53 da AI Act, provedores de modelos de IA de uso geral devem respeitar reservas de direitos legíveis por máquina. No caso Kneschke vs. LAION (Tribunal Superior Regional de Hamburgo, 10 de dezembro de 2025), LAION, associação de pesquisa sem fins lucrativos, alegou exceção de pesquisa científica, e uma reserva em linguagem simples foi julgada não legível por máquina com tecnologia de 2021; o tribunal disse que isso poderia mudar, e recurso ao Tribunal Federal foi permitido. Para crawler comercial, trate reservas em linguagem simples nos termos de uso como vinculativas hoje. 4. **Dados pessoais.** A Opinião 28/2024 da EDPB diz que interesse legítimo pode ser base legal para treinamento de IA, caso a caso, e a CNIL publicou recomendações sobre scraping para IA em junho de 2025. Isto não é conselho legal. Leia nossa [visão geral da lei de scraping web para 2026](https://crawlrelay.com/pt/guides/is-web-scraping-legal/) e consulte um advogado para seu projeto. ## Como checar robots.txt e sinais de treinamento de IA antes de rastrear? Cheque ambos antes de enfileirar qualquer URL de um site. A função abaixo busca robots.txt através do proxy, aplica as regras do RFC 9309 para arquivos faltantes (4xx) e inacessíveis (5xx), e lê uma linha `Content-Signal` no estilo Cloudflare. É propositalmente simples: aplica qualquer `ai-train=no` no arquivo ao seu crawler. *Python: verificação de robots.txt + Content-Signal* ```python import urllib.robotparser from urllib.parse import urlsplit import requests PROXY = "http://USERNAME:PASSWORD@gw.crawlrelay.com:7777" PROXIES = {"http": PROXY, "https": PROXY} USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)" _rules = {} def site_rules(url): """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most).""" scheme, host = urlsplit(url)[:2] root = "%s://%s" % (scheme, host) if root not in _rules: try: r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30), headers={"User-Agent": USER_AGENT}) status, text = r.status_code, r.text except requests.RequestException: status, text = 599, "" if 400 <= status < 500: lines = [] # RFC 9309: unavailable, crawling allowed elif status >= 500: lines = ["User-agent: *", "Disallow: /"] # unreachable: assume complete disallow else: lines = text.splitlines() parser = urllib.robotparser.RobotFileParser() parser.parse(lines) signals = {} for line in lines: if line.lower().startswith("content-signal:"): for part in line.split(":", 1)[1].split(","): key, _, value = part.strip().partition("=") signals[key.strip().lower()] = value.strip().lower() _rules[root] = (parser, signals) return _rules[root] def may_collect_for_training(url): parser, signals = site_rules(url) return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no" print(may_collect_for_training("https://example.com/some/page")) ``` ## Como tratar dados pessoais em um corpus web? Colete menos, depois remova mais. Sob o GDPR e leis similares, público não significa livre para usar: nomes, e-mails, telefones e perfis são dados pessoais onde quer que apareçam. - **Excluir por design.** Ignore áreas de perfil, busca de pessoas e apenas login, e sites cujo conteúdo principal seja dados pessoais. - **Filtrar após coleta.** Detecte e remova e-mails, telefones e identificadores antes de os dados chegarem ao treinamento. - **Documente sua base legal.** A Opinião 28/2024 do EDPB e as recomendações da CNIL de 2025 descrevem o teste de equilíbrio para interesse legítimo. - **Respeite objeções.** Tenha uma forma de remover um site ou pessoa de futuras varreduras e dos dados armazenados. A [Política de Uso Aceitável](https://crawlrelay.com/pt/acceptable-use/) da CrawlRelay proíbe coletar dados pessoais em violação da lei que os rege. ## Como um pipeline de dados de IA deve usar o proxy? - **Um sub-usuário por crawl** com limite de tráfego, para que um trabalho desenfreado não esgote o plano e cada conjunto de dados tenha seu próprio registro de uso. - **Rotacione para amplitude.** Páginas independentes saem por saídas diferentes; use sessões sticky apenas para fluxos paginados. - **Limite por host.** Dois a quatro pedidos simultâneos por site, mais apenas para sites grandes que respondem rápido. Veja o [guia de concorrência](https://crawlrelay.com/pt/docs/concurrency/). - **Busque uma vez.** Deduplicate URLs, use `If-Modified-Since` em re-crawls, e armazene respostas brutas (por exemplo como WARC) para nunca pagar duas vezes pela mesma página. - **Identifique seu crawler.** Um user agent claro com URL de contato permite que donos de site entrem em contato ao invés de bloqueá-lo. ## Quanto custam proxies para dados de treinamento de IA? De 50 GB a 1 TB, o tráfego residencial CrawlRelay custa US$ 0,50/GB, a partir de outubro de 2026, e nunca expira. Para corpora multimultipos terabytes, compre vários planos 1 TB na mesma tarifa. | Plano | Quantidade | Preço | Preço por unidade | | --- | --- | --- | --- | | Rastrear | 50 GB | US$ 25 | US$ 0,50/GB | | Pipeline | 100 GB | US$ 50 | US$ 0,50/GB | | Corpus | 500 GB | US$ 250 | US$ 0,50/GB | | Escala | 1 TB | US$ 500 | US$ 0,50/GB | Em todos os planos: Protocolos: HTTP, HTTPS, SOCKS5 · Segmentação: País, cidade; estado dos EUA e CEP; ASN · Sessões: Rotativas, ou fixas até 30 min · Validade do tráfego: Não expira Preços em USD, em 13-10-2026. **Antes de pagar** - Recarga mínima US$ 25. Recarregue uma vez com cripto, depois compre qualquer plano usando seu saldo. - O saldo não utilizado permanece na sua conta e nunca expira, mas não é reembolsado, exceto quando a lei o exigir. - Creditado assim que seu pagamento é verificado na blockchain. Tempo habitual de confirmação da rede: BTC ≈ 20 min · USDT TRC-20 ≈ 1 min · USDT ERC-20 ≈ 5 min · USDC ERC-20 ≈ 5 min · ETH ≈ 5 min · SOL ≈ 1 min · LTC ≈ 15 min ## Proxies para dados de treinamento de IA: perguntas ### É legal extrair dados de sites para treinar modelos de IA? Depende do país, do conteúdo e de como você o coleta, e vários casos ainda estão em aberto em outubro de 2026. Na UE, valem exceções para mineração de texto e dados, a menos que o detentor dos direitos as tenha reservado de forma legível por máquina. Dados pessoais precisam de base legal. Isto não é um conselho jurídico; leia nosso [resumo 2026](https://crawlrelay.com/pt/guides/is-web-scraping-legal/). ### Meu crawler de IA deve usar o user agent do GPTBot ou do CCBot? Não. Esses nomes pertencem à OpenAI e Common Crawl, e os sites os usam para decidir o que esses crawlers específicos podem acessar. Use seu próprio user agent com uma URL de contato e aplique as regras do robots.txt que correspondam a ele ou ao grupo `*`. Impersonar outro crawler viola os termos da maioria dos sites e nossa Política de Uso Aceitável. ### Quantos GB preciso para extrair um milhão de páginas? Cerca de 30 a 60 GB apenas para HTML comprimido, e aproximadamente 2 TB se você renderizar cada página em um navegador com imagens. Em CrawlRelay, 50 GB custa US$ 25. Meça 1.000 de suas páginas reais antes de comprar, porque o peso da página varia muito de site para site. ### Por que usar proxies residenciais em vez de IPs de datacenter para dados de IA? Alguns sites exibem conteúdo diferente conforme a localização, e saídas residenciais alcançam a edição pública que os visitantes locais veem. Se um site filtra faixas de hospedagem para bloquear tráfego automatizado, um IP residencial não torna esse acesso permitido. Para sites que aceitam crawlers ou oferecem dumps e APIs, talvez você nem precise de proxy; use tráfego residencial onde isso altera o resultado. ### O tráfego residencial expira se minha coleta pausar? Não. Tráfego pré-pago residencial e móvel rotativo nunca expira: GB não utilizados ficam na sua conta até usar. Uma pipeline que pausa por semanas mantém seus gigabytes restantes, o que é importante para execuções de treinamento que coletam em rajadas. ## Fontes 1. [RFC 9309: Protocolo de Exclusão de Robôs](https://www.rfc-editor.org/rfc/rfc9309.html) — IETF (2022-09) 2. [Política de sinais de conteúdo](https://blog.cloudflare.com/content-signals-policy/) — Cloudflare (2025-09-24) 3. [A web agentiva (tráfego de crawler, junho de 2026)](https://blog.cloudflare.com/agentic-web/) — Cloudflare (2026-09-30) 4. [Apresentando pagamento por crawl](https://blog.cloudflare.com/introducing-pay-per-crawl/) — Cloudflare (2025-07-01) 5. [Grupo de trabalho IETF AI Preferences (aipref)](https://datatracker.ietf.org/wg/aipref/about/) — IETF (2026-09-14) 6. [Tribunal Regional Superior de Hamburgo confirma que treinamento de IA foi permitido (Kneschke vs. LAION)](https://www.twobirds.com/en/insights/2025/germany/higher-regional-court-hamburg-confirms-ai-training-was-permitted-(kneschke-v,-d-,-laion)) — Bird & Bird (2025-12) 7. [EDPB se posiciona sobre questões-chave sobre dados pessoais em modelos de IA](https://www.iapp.org/news/a/edpb-weighs-in-on-key-questions-on-personal-data-in-ai-models) — IAPP (2024-12-18) 8. [Web Almanac 2025: Peso da Página](https://almanac.httparchive.org/en/2025/page-weight) — HTTP Archive (2026-01-15) **Construa seu corpus com tráfego que não expira** US$ 0,50/GB a partir de 50 GB a 1 TB. [Escolha 1 TB](https://crawlrelay.com/app/checkout/?plan=res-1000&product=residential&lang=pt) · [Veja todos os planos](https://crawlrelay.com/pt/pricing/) --- CrawlRelay: CrawlRelay é um serviço proxy residencial rotativo e proxies móveis 4G/5G para desenvolvedores, para scrapers e pipelines de dados de IA: tráfego pay-as-you-go que não expira a partir de US$ 0,50/GB, pago com cripto, sem upload de documento. Sem KYC — sem ID, sem selfie, sem documentos. Pague com cripto.