Glossário de proxy e web scraping

Um proxy cujo IP de saída pertence a uma conexão de internet residencial de um provedor para consumidores. Os sites veem um visitante doméstico comum. Veja proxies residenciais.

Um proxy cujo IP de saída pertence a uma rede móvel 4G/5G. As operadoras compartilham cada IP entre vários assinantes, por isso os sites bloqueiam esses IPs com bastante cuidado. Veja proxies móveis 4G.

Um proxy hospedado em um data center, com um IP registrado para um provedor de hospedagem. Rápido e barato, mas frequentemente bloqueado por sites que filtram faixas de hospedagem.

Um IP estático anunciado por um provedor de internet, mas hospedado em um data center. Parece residencial para alguns bancos de dados e permanece fixo. CrawlRelay não vende proxies ISP.

Um host e porta que encaminham suas conexões para múltiplos IPs de saída por trás dele. Você muda as saídas pelo nome de usuário ou abrindo novas conexões, não trocando o endereço diretamente.

O endereço IP que o site alvo vê. Com um gateway residencial, é uma conexão doméstica escolhida para combinar com seu alvo.

Carrier-grade NAT: uma operadora móvel ou banda larga coloca muitos assinantes atrás de poucos IPs públicos. RFC 6598 reserva 100.64.0.0/10 para o espaço compartilhado dentro dessas redes.

Número de Sistema Autônomo (ASN): o identificador de uma rede na internet, como AS7922 para Comcast. O direcionamento por ASN escolhe saídas em um provedor de internet.

De onde vêm os IPs residenciais de um provedor e em quais termos os donos dos dispositivos compartilham a banda. Após as derrubadas do IPIDEA e NetNut em 2026, uma pergunta chave para comprar. Veja sourcing.

Um nome de usuário sem ID de sessão: cada nova conexão recebe um IP do pool, geralmente diferente. A rotação segue conexões, não requisições HTTP individuais.

Um nome de usuário com ID de sessão e TTL: conexões com esse ID mantêm o mesmo IP de saída por até 30 minutos, embora o IP possa mudar antes. Veja sessões.

Quanto tempo uma sessão sticky mantém seu IP, definido em minutos com -ttl-<minutes>. A sessão pode terminar antes se o dispositivo por trás dela ficar offline.

Reutilizar uma conexão TCP para várias requisições HTTP. Mais rápido, mas cada requisição nessa conexão compartilha um único IP de saída.

O método HTTP que um cliente usa para pedir a um proxy um túnel para um host e porta (RFC 9110, seção 9.3.6). O tráfego HTTPS então passa de ponta a ponta dentro do túnel.

Um protocolo de proxy que retransmite conexões TCP sem ler HTTP (RFC 1928), com autenticação de usuário e senha definida na RFC 1929.

O esquema de URL que instrui um cliente a enviar nomes de host para o proxy SOCKS5, para que o DNS seja resolvido na saída e não na sua máquina.

O cabeçalho de requisição que carrega as credenciais do proxy, geralmente Basic username:password em Base64. O proxy remove esse cabeçalho antes de encaminhar.

O proxy recusou a solicitação porque as credenciais estavam ausentes ou incorretas. O site nunca foi contatado. Veja 407.

O site está limitando sua taxa de requisições (RFC 6585). Diminua a velocidade e respeite Retry-After. Veja 429.

Um cabeçalho de resposta que indica o número de segundos, ou uma data, para aguardar antes de tentar novamente (RFC 9110, seção 10.2.3). Enviado com respostas 429 e 503.

Número de requisições simultâneas em andamento. Pela lei de Little, ele é igual ao throughput vezes a latência. Limite por host de destino. Veja concurrency.

Um arquivo na raiz de um site que informa aos clientes automáticos quais caminhos podem acessar, padronizado como RFC 9309 em 2022. Crawlers não devem armazená-lo em cache por mais de 24 horas.

Uma linha comum e não padronizada em robots.txt que indica os segundos a esperar entre requisições. O Python urllib.robotparser o lê com crawl_delay().

O cabeçalho que identifica o cliente. Um crawler responsável envia seu próprio nome, versão e uma URL de contato, nunca o nome de outro crawler.

Extensão robots.txt da Cloudflare com valores search, ai-input e ai-train, introduzida em setembro de 2025, indicando aos crawlers como o conteúdo pode ser utilizado.

Reserva legível por máquina do detentor de direitos contra mineração de texto e dados sob a lei de direitos autorais da UE, que provedores de modelos de IA de uso geral devem respeitar.

Um desafio que questiona se o visitante é humano. Para um crawler, é um sinal para desacelerar ou parar; CrawlRelay não suporta resolução automática.

Um navegador sem janela visível, controlado por código como Playwright ou Puppeteer. Renderiza JavaScript mas baixa muito mais dados por página do que um cliente HTTP.

Dados estruturados embutidos numa página como JSON, muitas vezes usando tipos schema.org como Product e Offer. A fonte mais estável de preços e informações de produtos.

O formato Web ARChive para armazenar requisições e respostas HTTP brutas, usado pelo Common Crawl e arquivos web. Armazenar respostas brutas evita pagar duas vezes por uma página.

Uma requisição com If-None-Match ou If-Modified-Since. Uma página inalterada responde com 304 Not Modified sem corpo, o que economiza tráfego.

Comprar tráfego uma única vez, quando precisar, em vez de uma assinatura mensal. Em CrawlRelay, os planos são compras únicas a partir de um saldo pré-pago.

Se os gigabytes comprados expiram após um período, como 31 dias ou um mês. O tráfego residencial e proxies móveis 4G CrawlRelay nunca expira.

1 GB = 1.000.000.000 bytes; um gibibyte (GiB) é 1.073.741.824 bytes. Pergunte em qual unidade o provedor cobra; CrawlRelay cobra em GB decimal.

Custo do tráfego dividido por respostas utilizáveis. Uma comparação melhor entre provedores que o preço listado por GB.

Um conjunto separado de credenciais proxy sob uma conta, com seu próprio limite de tráfego e total de uso, usado para isolar projetos ou clientes.

Conheça Seu Cliente: verificação de identidade com documentos, selfies ou papéis da empresa. CrawlRelay não exige nada disso e depende da Acceptable Use Policy.

Acceptable Use Policy: regras que cada conta deve seguir, listando usos permitidos, proibidos e alvos bloqueados.