Risposta rapida
Come posso scoprire perché una richiesta tramite proxy è fallita?
Prima di tutto scopri chi ha risposto: il gateway proxy (407, fallimenti CONNECT, alcuni 502 e 504), il sito web (401, 403, 429, la maggior parte dei 503), o il tuo client (errori TLS e timeout). Poi abbina il messaggio esatto a una pagina qui sotto. Questa guida copre 15 errori che gli scraper incontrano con i proxy residenziali CrawlRelay o qualsiasi proxy HTTP o SOCKS5, con il codice per risolverli.
A quale errore sto guardando?
Trova il tuo sintomo, poi apri la pagina per la diagnosi completa.
| Sintomo | Inviato da | Riprovo? | Pagina |
|---|---|---|---|
407, 'Connessione tunnel fallita: 407' | Proxy | No | 407 Proxy Authentication Required |
401 con WWW-Authenticate | Sito web | No | 401 vs 407 |
403 pagina o messaggio firewall | Sito web | Una volta, poi fermati | 403 Forbidden |
429, spesso con Retry-After | Sito web | Sì, più tardi | 429 Too Many Requests |
502, 'CONNECT tunnel fallito, risposta 502' | Proxy o CDN | Sì, nuovo exit | 502 Bad Gateway |
503, pagina di manutenzione o challenge | Sito web o CDN | Sì, con backoff | 503 Service Unavailable |
504 | Proxy o CDN | Una o due volte | 504 Gateway Timeout |
net::ERR_TUNNEL_CONNECTION_FAILED | Browser (proxy ha rifiutato CONNECT) | Dopo aver risolto la causa | ERR_TUNNEL_CONNECTION_FAILED |
net::ERR_PROXY_CONNECTION_FAILED | Browser (proxy irraggiungibile) | No | ERR_PROXY_CONNECTION_FAILED |
ProxyError: Unable to connect to proxy | Client Python | Dipende dalla causa | Impossibile connettersi al proxy |
[SSL: WRONG_VERSION_NUMBER] | La tua libreria TLS | No | SSL: WRONG_VERSION_NUMBER |
CERTIFICATE_VERIFY_FAILED | La tua libreria TLS | No | Certificato non verificato |
ReadTimeout, 'Tempo di lettura scaduto' | Il tuo client | Sì, nuovo exit | Tempo di lettura scaduto |
ECONNRESET, 'connessione interrotta', 'connessione resetta dal peer' | Rete | Sì, richieste sicure | Connessione resetta |
| 'Dipendenze mancanti per supporto SOCKS', errore curl 97 | Client o server SOCKS | Dipende | Errori SOCKS5 |
Tutti gli errori per tipo
Codici di stato HTTP
- 401 Unauthorized vs 407
- 403 Forbidden
- 407 Proxy Authentication Required
- 429 Too Many Requests
- 502 Bad Gateway
- 503 Service Unavailable
- 504 Gateway Timeout
Errori del browser e client
Errori di connessione e TLS
Quali errori deve ritentare automaticamente uno scraper?
Ritenta ciò che può cambiare da solo, e ferma ciò che non può:
- Ritenta con una nuova connessione: 502, 504, reset di connessione e timeout di lettura. Una nuova connessione di solito usa un nuovo proxy residenziale.
- Ritenta più tardi, più lentamente: 429 e 503. Attendi
Retry-Aftero fai back off esponenziale con jitter, riducendo la concorrenza su quell’host. - Ritenta una volta sola, poi ferma: 403. Un retry con un nuovo IP distingue un indirizzo segnalato da una regola del sito.
- Non ritentare mai a caso: 407, 401, errori TLS e proxy irraggiungibili. Sono problemi di configurazione.
La guida Python mostra una policy di retry che segue queste regole con urllib3 e Retry.
Come faccio a registrare gli errori per facilitarne il debug?
Registra cinque campi per ogni richiesta fallita: l'host dell'URL, il codice di stato o la classe dell’eccezione, l’ID sessione se presente, il tempo al primo byte e i primi 200 caratteri del corpo della risposta. Il corpo ti dice se la pagina d’errore è stata generata da un CDN, un firewall o dal proxy residenziale. Conta gli errori per host e per stato ogni minuto: un picco su un host significa che quel sito ha cambiato qualcosa; un picco su tutti significa che la tua configurazione o rete ha problemi.
Riferimento errori: domande
Come distinguere se l’errore viene dal proxy o dal sito?
Guarda dove è successo. Gli errori durante la fase CONNECT, mostrati da curl -v prima di qualsiasi handshake TLS, vengono dal proxy: 407, o 502 o 504 su CONNECT. Gli stati che arrivano dopo l’handshake TLS, con intestazioni e HTML del sito, vengono dal sito stesso. Errori client come timeout e fallimenti TLS arrivano dal tuo codice o rete.
Le richieste fallite vengono addebitate?
Il traffico viene contato in byte passati attraverso il gateway, quindi una risposta di errore che non raggiunge mai il sito, come un 407, consuma quasi nulla. Una pagina di blocco dal sito è una normale risposta e ha dimensione come qualsiasi altra pagina. Riduci entrambi correggendo i problemi di configurazione presto e rallentando con 403 e 429.
Qual è un tasso di errore normale per uno scraper che usa proxy residenziali?
Dipende dai target. La ricerca Proxyway 2026 ha misurato un tasso di successo mediano del 99,28% sulle reti di proxy residenziali ma 74,43% sui target reali protetti come Amazon, Google e Instagram. Misura i tuoi obiettivi e monitora il tasso nel tempo: un cambiamento improvviso conta più del numero assoluto.