Proxies móveis 4G/5G rotativos para scraping de alvos difíceis

Por que os sites bloqueiam IPs móveis com menos frequência?

Porque um IP móvel normalmente representa muitas pessoas reais. As operadoras usam carrier-grade NAT: milhares de celulares compartilham um conjunto pequeno de endereços públicos, e o RFC 6598 até reserva a faixa 100.64.0.0/10 para o interior dessas redes. Um site que bloqueia um IP móvel pode bloquear todos os assinantes por trás dele, por isso a maioria dos sites bloqueia faixas móveis com cuidado.

Esse compartilhamento tem um custo para você. Um IP móvel pode chegar com um histórico criado por outros usuários da operadora, e sua velocidade depende do sinal e da carga da célula. Por isso o tráfego móvel é uma ferramenta para alvos específicos, não um padrão.

Vale a pena pagar mais por GB em proxies móveis?

Só onde proxy residencial falha. Tráfego proxy residencial CrawlRelay custa US$ 0,50/GB a partir de 50 GB; proxies móveis 4G custam US$ 1,50/GB. No Proxy Market Research 2026 da Proxyway, a taxa média de sucesso em alvos reais foi 75,26% para proxies móveis e 74,43% para proxies residenciais: entre todos os fornecedores, mobile não foi muito melhor em média.

O ganho é específico para o alvo. Meça antes de pagar:

1. Rode 200 a 500 URLs de um alvo com proxies residenciais e proxies móveis.
2. Conte respostas úteis, não apenas HTTP 200: uma página de bloqueio pode retornar 200.
3. Divida o custo de tráfego de cada rodada pelo número de respostas úteis.
4. Direcione um domínio para mobile só se o custo por resposta útil for menor ali.

Como direcionar apenas alguns domínios para IPs móveis?

Mantenha dois conjuntos de credenciais, um para cada plano, e escolha por requisição. O resto do seu scraper permanece igual: mesmo gateway, mesma sintaxe no nome de usuário, mesma lógica de retry.

from urllib.parse import urlsplit

import requests

GATEWAY = "gw.crawlrelay.com:7777"
RESIDENTIAL = ("RES_USERNAME-country-us", "RES_PASSWORD")
MOBILE = ("MOB_USERNAME-country-us", "MOB_PASSWORD")
MOBILE_HOSTS = {"m.example.com", "app.example.org"}  # hosts where residential measured worse


def proxies_for(url):
    user, password = MOBILE if urlsplit(url).hostname in MOBILE_HOSTS else RESIDENTIAL
    proxy = "http://%s:%s@%s" % (user, password, GATEWAY)
    return {"http": proxy, "https": proxy}


for url in ["https://www.example.com/item/1", "https://m.example.com/item/1"]:
    r = requests.get(url, proxies=proxies_for(url), timeout=(10, 45))
    print(url, r.status_code, len(r.content))

Como funciona a rotação na pool móvel?

Do mesmo modo que nos proxies residenciais: um nome de usuário sem ID de sessão recebe um novo IP da operadora a cada nova conexão, e -session-<id>-ttl-<minutes> mantém um IP fixo nas conexões. Duas diferenças importam na prática:

• Operadoras mudam IPs sozinhas. Uma sessão móvel fixa pode perder seu IP antes do TTL ao reconectar na rede.
• Latência varia mais. Defina timeout de leitura maior para requisições móveis, cerca de 45 a 60 segundos, e tente reconectar em vez de esperar mais.