Read timeout tramite un proxy: cause e timeout sensati

Cosa significa Read timed out (ReadTimeout)?

I client hanno di solito due timer. Il timeout di connessione limita il tempo che il client attende per aprire la connessione al proxy. Il timeout di lettura limita il tempo che attende tra i byte una volta inviata la richiesta. Un read timeout significa che la connessione ha funzionato ma la risposta è stata troppo lenta.

Senza timeout espliciti, alcuni client aspettano indefinitamente. In Python requests il timeout non è impostato di default, quindi una singola richiesta bloccata può congelare un worker.

Com'è a read timeout in Python, curl, Node.js e browser?

Lo stesso errore si presenta in modo diverso in ogni strumento. Questi sono i messaggi da cercare nei log:

• Python requests: ReadTimeout: HTTPSConnectionPool(...): Read timed out. (read timeout=10)
• httpx: httpx.ReadTimeout
• Node.js: ETIMEDOUT, ESOCKETTIMEDOUT, o un AbortError dal tuo timer
• Playwright: TimeoutError: page.goto: Timeout 30000ms exceeded

Cosa causa a read timeout?

Probabilmente prima:

• Una pagina target lenta, come risultati di ricerca o pagine dinamiche pesanti.
• Un'uscita lenta: velocità upload domestica, Wi-Fi o cella mobile congestionata.
• Download grandi letti in un blocco unico invece che in streaming.
• Timeout troppo stretti per il tipo di pagina.
• Pagine browser che aspettano rete inattiva su siti che non smettono mai di caricare tracker.

Come diagnostico a read timeout passo dopo passo?

1. Misura la richiesta senza proxy per avere un riferimento.
2. Registra separatamente il tempo al primo byte e il tempo totale.
3. Controlla la dimensione delle risposte per URL lenti.
4. Nei browser, verifica quale condizione waitUntil stai usando.

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

Come risolvo a read timeout?

• Imposta entrambi i timeout: connessione circa 10 secondi, lettura 30-60 secondi per HTML, di più per file grandi.
• Streamma risposte grandi e scrivile a pezzi su disco.
• Usa domcontentloaded invece di rete inattiva in Playwright quando ti serve solo l'HTML.
• Blocca risorse pesanti non necessarie sui browser, come video.
• Ritenta una volta con nuova uscita, poi sposta l'URL in una coda lenta.

Devo riprovare dopo a read timeout?

Ritenta un read timeout una o due volte con nuova uscita. Se lo stesso URL continua a scadere, assegna un timeout più lungo in una coda lenta separata invece di estendere il timeout per tutto. Attenzione agli effetti collaterali duplicati: ritenta solo richieste sicure da ripetere, come GET.

Come si applica Read timed out (ReadTimeout) a CrawlRelay?

Ogni nuova connessione CrawlRelay senza ID sessione usa un'uscita residenziale diversa, quindi un ritentativo testa anche una connessione domestica diversa. Mantieni sessioni sticky brevi per target lenti: se l'uscita è lenta, ogni richiesta nella sessione sarà lenta.

Gateway: gw.crawlrelay.com, porta 7777 (HTTP, HTTPS tramite CONNECT) e porta 7778 (SOCKS5). Formato username: USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}. Correlato: 504 Gateway Timeout · Connessione ripristinata · Guida alla concorrenza.