API de proxy residencial rotativo para web scraping

Como funciona a API de proxy residencial?

Você envia cada requisição para um único gateway, que a encaminha por um IP residencial correspondente ao nome de usuário enviado. Não há lista de IPs para baixar nem código de rotação para programar.

1. Autentique-se com o nome de usuário e senha do seu plano ou de um subusuário, ou a partir de um IP na lista de permissão.
2. Escolha a saída adicionando parâmetros ao nome de usuário: -country-de, -city-berlin, ou para os Estados Unidos -state-ny e -zip-10001; -asn-7922 seleciona um provedor de internet sem custo extra. A disponibilidade por cidade varia.
3. Escolha a sessão: sem ID de sessão, cada conexão nova recebe um IP do pool, normalmente diferente; -session-<id>-ttl-<minutes> mantém um IP por até 30 minutos, mas o IP pode mudar antes.

O mesmo nome de usuário funciona na porta HTTP (7777) e na porta SOCKS5 (7778). Sites HTTPS passam por um túnel CONNECT, então o TLS ocorre entre seu cliente e o site.

import requests

GATEWAY = "gw.crawlrelay.com:7777"


def proxy(username, password):
    url = "http://%s:%s@%s" % (username, password, GATEWAY)
    return {"http": url, "https": url}


# Rotating: each new connection usually exits through a different residential IP in Germany
r = requests.get("https://api.ipify.org", proxies=proxy("USERNAME-country-de", "PASSWORD"), timeout=(10, 30))
print("rotating exit:", r.text)

# Sticky: the same IP for up to 30 minutes, across connections (it can change earlier)
sticky = proxy("USERNAME-country-de-city-berlin-session-crawl42-ttl-30", "PASSWORD")
for _ in range(3):
    print("sticky exit:", requests.get("https://api.ipify.org", proxies=sticky, timeout=(10, 30)).text)

Session rotativa ou fixa: qual usar para scraping?

Rotacione para páginas independentes; fique fixo para fluxos. Um scraper que busca milhares de páginas de produtos ou artigos não relacionados deve abrir uma conexão nova por página, sem ID de sessão, para distribuir a carga entre muitos IPs residenciais. Um fluxo cujo passo seguinte dependa do anterior, como paginação com cursor atrelado a cookie, deve manter uma sessão fixa até terminar o fluxo.

A rotação ocorre a cada nova conexão, não a cada requisição HTTP. Um cliente que mantém uma conexão ativa usa a mesma saída para todas as requisições nela. O guia de sessões mostra como controlar isso em requests, httpx, Scrapy e Playwright.

Qual taxa de sucesso esperar dos proxies residenciais?

Espere alta taxa de conexão e taxa de sucesso menor em alvos protegidos, e meça ambos. O Proxy Market Research 2026 da Proxyway testou 13 fornecedores: a mediana da rede residencial respondeu 99,28% das requisições, mas só 74,43% das requisições para alvos reais como Amazon, Google e Instagram tiveram sucesso.

A diferença é o filtro do próprio alvo, que nenhum proxy remove. Não publicamos nossa própria taxa de sucesso sem medi-la com método declarado. Compare fornecedores pelo custo por requisição bem-sucedida para seus próprios alvos: execute os mesmos 1.000 URLs em cada um, conte respostas válidas e divida o custo do tráfego por essa contagem.

De onde vêm os IPs residenciais?

De redes parceiras estabelecidas. CrawlRelay não opera sua própria rede de dispositivos: revende IPs de redes parceiras upstream estabelecidas. Nosso provedor upstream confirma que os donos dos dispositivos concordam e podem desistir, e que seu fornecimento não vem de redes apreendidas ou interrompidas como NetNut ou IPIDEA. Essa é a confirmação do provedor, não uma verificação que fazemos em cada dispositivo; a página de origem lista seus limites. As remoções em 2026 mostraram o que está em jogo: em janeiro o Google tomou uma ação legal contra domínios do IPIDEA, e em julho o FBI e IRS-CI apreenderam domínios do NetNut, depois que o Google relatou que dispositivos entraram nessas redes sem o conhecimento dos donos. Pergunte a qualquer provedor, incluindo a nós, de onde vêm seus IPs antes de construir um pipeline com eles.