Read timed out através de proxy: causas e timeouts sensatos

O que Read timed out (ReadTimeout) significa?

Clientes geralmente têm dois relógios. O timeout de conexão limita quanto tempo o cliente espera para abrir a conexão com o proxy. O timeout de leitura limita quanto tempo ele espera entre bytes após a requisição ser enviada. Um timeout de leitura significa que a conexão funcionou mas a resposta foi lenta.

Sem timeouts explícitos, alguns clientes esperam indefinidamente. Em requests do Python, o padrão é sem timeout, então uma requisição travada pode congelar um worker.

Como a read timeout aparece em Python, curl, Node.js e navegadores?

A mesma falha aparece de forma diferente em cada ferramenta. Estas são as mensagens para buscar nos seus logs:

• Python requests: ReadTimeout: HTTPSConnectionPool(...): Read timed out. (read timeout=10)
• httpx: httpx.ReadTimeout
• Node.js: ETIMEDOUT, ESOCKETTIMEDOUT, ou um AbortError do seu próprio timer
• Playwright: TimeoutError: page.goto: Timeout 30000ms exceeded

O que causa a read timeout?

Mais provável inicialmente:

• Página alvo lenta, como resultados de busca ou páginas dinâmicas pesadas.
• Saída lenta: velocidade de upload residencial, Wi-Fi ou célula móvel congestionada.
• Downloads grandes lidos em um bloco só em vez de streaming.
• Timeouts muito curtos para o tipo de página.
• Páginas em navegador que aguardam rede inativa em sites que nunca param de carregar rastreadores.

Como diagnosticar a read timeout passo a passo?

1. Cronometre a requisição sem o proxy para ter referência.
2. Registre tempo até o primeiro byte e tempo total separadamente.
3. Verifique o tamanho das respostas para as URLs lentas.
4. Em navegadores, verifique qual condição waitUntil você usa.

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

Como corrigir a read timeout?

• Defina ambos os timeouts: conexão cerca de 10 segundos, leitura 30 a 60 segundos para HTML, mais para arquivos grandes.
• Stream respostas grandes e escreva em disco em pedaços.
• Use domcontentloaded em vez de rede inativa no Playwright quando só precisar do HTML.
• Bloqueie recursos pesados que não precisa em navegadores, como vídeo.
• Tente novamente uma vez com uma saída nova, depois mova a URL para fila lenta.

Devo tentar novamente após a read timeout?

Tente uma ou duas vezes um timeout de leitura em saída nova. Se a mesma URL continuar expirando, dê um timeout maior em uma fila lenta separada ao invés de aumentar o timeout para tudo. Cuidado com efeitos colaterais duplicados: só tente novamente requisições que são seguras para repetir, como GET.

Como Read timed out (ReadTimeout) se aplica ao CrawlRelay?

Cada nova conexão CrawlRelay sem ID de sessão usa uma saída residencial diferente, então uma nova tentativa também testa uma conexão residencial nova. Mantenha sessões sticky curtas para alvos lentos: se a saída for lenta, toda requisição na sessão será lenta.

Gateway: gw.crawlrelay.com, porta 7777 (HTTP, HTTPS via CONNECT) e porta 7778 (SOCKS5). Formato do usuário: USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}. Relacionado: 504 Gateway Timeout · Connection reset · Guia de concorrência.