403 Forbidden ao raspar via proxy: causas e o que fazer

O que 403 Forbidden significa?

RFC 9110 define 403 como recusa: o servidor entendeu o pedido e não o cumprirá. Diferente de 401, novas credenciais não ajudam. Um site pode explicar o motivo no corpo da resposta, mas muitos firewalls retornam uma página genérica curta.

Para um scraper, 403 é um sinal de política. O site decidiu que essa requisição, desse IP, com esses cabeçalhos, nessa frequência, não deve receber a página. Alguns desses detalhes são seus para corrigir. Outros são o site dizendo não.

Como a 403 aparece em Python, curl, Node.js e navegadores?

A mesma falha aparece de forma diferente em cada ferramenta. Estas são as mensagens para buscar nos seus logs:

• Python requests: r.status_code == 403, frequentemente com corpo HTML de fornecedor de firewall
• Scrapy: Ignoring response <403 https://...>: HTTP status code is not handled or not allowed
• curl: HTTP/2 403 na saída detalhada
• Playwright, Puppeteer: navegação ocorre mas response.status() retorna 403 e mostra mensagem de acesso negado

O que causa a 403?

Mais provável inicialmente:

• Geografia. Conteúdo não oferecido no país do IP de saída, ou site serve só uma região.
• Reputação do IP. Site bloqueia faixas associadas a tráfego automatizado. Faixas de datacenter são bloqueadas com maior frequência que residenciais.
• Impressão do pedido. Cabeçalhos faltando ou inconsistentes, como ausência de Accept-Language, ou User-Agent de navegador enviado por cliente HTTP simples.
• Taxa. Muitas requisições em pouco tempo de uma sessão, firewall eleva 429 para 403.
• Regras de acesso. Página precisa de login, conta paga, ou é excluída para crawlers em robots.txt ou termos de uso.
• Política do proxy. Alguns destinos são recusados pelo próprio proxy. No CrawlRelay isso abrange categorias listadas na Política de Uso Aceitável.

Como diagnosticar a 403 passo a passo?

1. Abra a URL num navegador comum do mesmo país. Se falhar também lá, a página não é pública para essa localização.
2. Compare os cabeçalhos enviados pelo scraper com os do navegador.
3. Leia o robots.txt e termos do alvo para regras sobre acesso automatizado.
4. Verifique o padrão de tempo: 403 que aparece após N pedidos indica taxa, não IP.

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

Como corrigir a 403?

• Escolha o país certo com o parâmetro country- para ver a versão do site que visitantes locais veem.
• Envie cabeçalhos completos e honestos. Identifique seu crawler no User-Agent com URL de contato e envie Accept e Accept-Language.
• Diminua a velocidade. Reduza concorrência por host e adicione atrasos. Veja como lidar com 403, 429 e CAPTCHAs.
• Respeite recusa. Se um site bloqueia acesso automatizado de propósito, procure API oficial, licença de dados ou dataset público. Rotacionar IPs para burlar bloqueio intencional fere a Política de Uso Aceitável.

Devo tentar novamente após a 403?

Tente um 403 no máximo uma vez, depois de pausa, em IP novo. Uma tentativa separa endereço isolado de regra do site inteira. Se o segundo 403 ocorrer, pare de enviar pedidos para esse padrão e revise configuração. Atacar um 403 gasta banda e transforma bloqueio leve em duro.

Como 403 Forbidden se aplica ao CrawlRelay?

No CrawlRelay, nova conexão sem sessão normalmente sai por IP residencial diferente, então uma tentativa testa endereço fresco. Mantenha país na tentativa: mudar país altera conteúdo a comparar. Pedidos a sites bancários, governamentais e portais de pagamento são recusados pelo gateway sob a AUP.

Gateway: gw.crawlrelay.com, porta 7777 (HTTP, HTTPS via CONNECT) e porta 7778 (SOCKS5). Formato do usuário: USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}. Relacionado: 429 Too Many Requests · 401 vs 407 · Tratando 403, 429 e CAPTCHAs.