Proxies para dados de treinamento de IA e corpora web LLM

Quanto tráfego proxy um corpus de treinamento de IA precisa?

Busque HTML e texto, não páginas renderizadas, e o volume permanece gerenciável. Com 50 KB por página HTML comprimida:

Preciso mesmo de proxies para dados de treinamento de IA?

Frequentemente não para a maior parte. Antes de rastrear, verifique três fontes mais baratas:

• Varreduras abertas. Common Crawl publica petabytes de arquivos web coletados por seu CCBot crawler.
• Dumps oficiais e APIs. Wikipedia, muitos governos, portais de dados abertos e repositórios de pesquisa publicam downloads e APIs com licenças claras.
• Dados licenciados. Editoras e plataformas vendem ou licenciam acesso cada vez mais, e o pay-per-crawl da Cloudflare usa HTTP 402 para precificar o crawling.

Proxies justificam seu custo no resto: páginas públicas frescas que não estão em varreduras abertas, conteúdo que muda por país ou cidade, e sites que exibem edições diferentes por região. Saídas residencial permitem coletar o que um visitante local vê.

Quais regras se aplicam aos crawlers de dados de IA em 2026?

Quatro camadas importam, do técnico ao legal:

1. robots.txt (RFC 9309). A forma padrão que um site diz quais caminhos clientes automáticos podem buscar. Analise por site, aplique o grupo para o user agent do seu crawler ou para *, e não armazene em cache por mais de 24 horas, como recomenda o RFC.
2. Sinais específicos de IA. A Content Signals Policy da Cloudflare adiciona valores ai-train, ai-input e search em robots.txt; mais de 3,8 milhões de domínios usam o robots.txt gerenciado pela Cloudflare. O grupo de trabalho aipref da IETF está redigindo um vocabulário padrão, ainda sem consenso em outubro de 2026.
3. Opt-outs de mineração de texto e dados da UE. Sob as regras da UE para mineração de texto e dados e o Artigo 53 da AI Act, provedores de modelos de IA de uso geral devem respeitar reservas de direitos legíveis por máquina. No caso Kneschke vs. LAION (Tribunal Superior Regional de Hamburgo, 10 de dezembro de 2025), LAION, associação de pesquisa sem fins lucrativos, alegou exceção de pesquisa científica, e uma reserva em linguagem simples foi julgada não legível por máquina com tecnologia de 2021; o tribunal disse que isso poderia mudar, e recurso ao Tribunal Federal foi permitido. Para crawler comercial, trate reservas em linguagem simples nos termos de uso como vinculativas hoje.
4. Dados pessoais. A Opinião 28/2024 da EDPB diz que interesse legítimo pode ser base legal para treinamento de IA, caso a caso, e a CNIL publicou recomendações sobre scraping para IA em junho de 2025.

Isto não é conselho legal. Leia nossa visão geral da lei de scraping web para 2026 e consulte um advogado para seu projeto.

Como checar robots.txt e sinais de treinamento de IA antes de rastrear?

Cheque ambos antes de enfileirar qualquer URL de um site. A função abaixo busca robots.txt através do proxy, aplica as regras do RFC 9309 para arquivos faltantes (4xx) e inacessíveis (5xx), e lê uma linha Content-Signal no estilo Cloudflare. É propositalmente simples: aplica qualquer ai-train=no no arquivo ao seu crawler.

import urllib.robotparser
from urllib.parse import urlsplit

import requests

PROXY = "http://USERNAME:[email protected]:7777"
PROXIES = {"http": PROXY, "https": PROXY}
USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)"
_rules = {}


def site_rules(url):
    """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most)."""
    scheme, host = urlsplit(url)[:2]
    root = "%s://%s" % (scheme, host)
    if root not in _rules:
        try:
            r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30),
                             headers={"User-Agent": USER_AGENT})
            status, text = r.status_code, r.text
        except requests.RequestException:
            status, text = 599, ""
        if 400 <= status < 500:
            lines = []  # RFC 9309: unavailable, crawling allowed
        elif status >= 500:
            lines = ["User-agent: *", "Disallow: /"]  # unreachable: assume complete disallow
        else:
            lines = text.splitlines()
        parser = urllib.robotparser.RobotFileParser()
        parser.parse(lines)
        signals = {}
        for line in lines:
            if line.lower().startswith("content-signal:"):
                for part in line.split(":", 1)[1].split(","):
                    key, _, value = part.strip().partition("=")
                    signals[key.strip().lower()] = value.strip().lower()
        _rules[root] = (parser, signals)
    return _rules[root]


def may_collect_for_training(url):
    parser, signals = site_rules(url)
    return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no"


print(may_collect_for_training("https://example.com/some/page"))

Como tratar dados pessoais em um corpus web?

Colete menos, depois remova mais. Sob o GDPR e leis similares, público não significa livre para usar: nomes, e-mails, telefones e perfis são dados pessoais onde quer que apareçam.

• Excluir por design. Ignore áreas de perfil, busca de pessoas e apenas login, e sites cujo conteúdo principal seja dados pessoais.
• Filtrar após coleta. Detecte e remova e-mails, telefones e identificadores antes de os dados chegarem ao treinamento.
• Documente sua base legal. A Opinião 28/2024 do EDPB e as recomendações da CNIL de 2025 descrevem o teste de equilíbrio para interesse legítimo.
• Respeite objeções. Tenha uma forma de remover um site ou pessoa de futuras varreduras e dos dados armazenados.

A Política de Uso Aceitável da CrawlRelay proíbe coletar dados pessoais em violação da lei que os rege.

Como um pipeline de dados de IA deve usar o proxy?

• Um sub-usuário por crawl com limite de tráfego, para que um trabalho desenfreado não esgote o plano e cada conjunto de dados tenha seu próprio registro de uso.
• Rotacione para amplitude. Páginas independentes saem por saídas diferentes; use sessões sticky apenas para fluxos paginados.
• Limite por host. Dois a quatro pedidos simultâneos por site, mais apenas para sites grandes que respondem rápido. Veja o guia de concorrência.
• Busque uma vez. Deduplicate URLs, use If-Modified-Since em re-crawls, e armazene respostas brutas (por exemplo como WARC) para nunca pagar duas vezes pela mesma página.
• Identifique seu crawler. Um user agent claro com URL de contato permite que donos de site entrem em contato ao invés de bloqueá-lo.