Kort antwoord
Hoe kom ik erachter waarom een proxied verzoek is mislukt?
Vind eerst uit wie antwoordde: de proxy gateway (407, CONNECT-fouten, sommige 502 en 504), de website (401, 403, 429, de meeste 503), of je eigen client (TLS- en time-outfouten). Zoek daarna het exacte bericht op in onderstaande pagina. Deze referentie behandelt 15 fouten die scrapers tegenkomen met CrawlRelay residentiële proxy's of elke HTTP- of SOCKS5-proxy, met code om elke fout te verhelpen.
Naar welke fout kijk ik?
Vind je symptoom, open daarna de pagina voor de volledige diagnose.
| Symptoom | Verzonden door | Opnieuw proberen? | Pagina |
|---|---|---|---|
407, 'Tunnelverbinding mislukt: 407' | Proxy | Nee | 407 Proxy Authenticatie Vereist |
401 met WWW-Authenticate | Website | Nee | 401 vs 407 |
403 pagina- of firewallmelding | Website | Eenmalig, daarna stoppen | 403 Forbidden |
429, vaak met Retry-After | Website | Ja, later | 429 Too Many Requests |
502, 'CONNECT tunnel mislukt, respons 502' | Proxy of CDN | Ja, nieuw exit-adres | 502 Bad Gateway |
503, onderhouds- of challengepagina | Website of CDN | Ja, met vertraging | 503 Service Unavailable |
504 | Proxy of CDN | Een of twee keer | 504 Gateway Timeout |
net::ERR_TUNNEL_CONNECTION_FAILED | Browser (proxy weigerde CONNECT) | Na het oplossen van de oorzaak | ERR_TUNNEL_CONNECTION_FAILED |
net::ERR_PROXY_CONNECTION_FAILED | Browser (proxy onbereikbaar) | Nee | ERR_PROXY_CONNECTION_FAILED |
ProxyError: Unable to connect to proxy | Python client | Afhankelijk van de oorzaak | Kan geen verbinding maken met proxy |
[SSL: WRONG_VERSION_NUMBER] | Je TLS-bibliotheek | Nee | SSL: VERKEERDE_VERSIE_NUMMER |
CERTIFICATE_VERIFY_FAILED | Je TLS-bibliotheek | Nee | Certificaatverificatie mislukt |
ReadTimeout, 'Lezen time-out' | Je client | Ja, nieuw exit-adres | Lezen time-out |
ECONNRESET, 'socket verbroken', 'Verbinding gereset door peer' | Netwerk | Ja, veilige verzoeken | Verbinding gereset |
| 'Ontbrekende afhankelijkheden voor SOCKS-ondersteuning', curl fout 97 | Client of SOCKS-server | Afhankelijk | SOCKS5 fouten |
Alle fouten per type
HTTP-statuscodes
- 401 Unauthorized vs 407
- 403 Forbidden
- 407 Proxy Authentication Required
- 429 Too Many Requests
- 502 Bad Gateway
- 503 Service Unavailable
- 504 Gateway Timeout
Browser- en clientfouten
Verbindings- en TLS-fouten
Welke fouten moet een scraper automatisch opnieuw proberen?
Probeer opnieuw wat vanzelf kan veranderen en stop bij wat niet kan:
- Probeer opnieuw met een nieuwe verbinding: 502, 504, verbindingen die verbroken worden en lees-time-outs. Een nieuwe verbinding krijgt meestal een andere residentiële proxy-exit.
- Probeer later, langzamer: 429 en 503. Wacht op
Retry-Afterof pas een exponentiële back-off toe met jitter, en verlaag de gelijktijdigheid op die host. - Probeer één keer opnieuw, stop daarna: 403. Eén herhaling op een nieuw IP scheidt een gemarkeerd adres van een site regel.
- Probeer nooit blind: 407, 401, TLS-fouten en onbereikbare proxy's. Dit zijn configuratiefouten.
De Python gids toont een retry-beleid dat deze regels volgt met urllib3's Retry.
Hoe kan ik fouten loggen zodat ze makkelijk te debuggen zijn?
Log vijf velden voor elk mislukt verzoek: de host van de URL, de statuscode of exceptieklasse, de sessie-ID indien aanwezig, de tijd tot de eerste byte, en de eerste 200 karakters van de respons-body. De body vertelt je of een CDN, firewall of de proxy de foutpagina heeft geschreven. Tel fouten per host en per status elke minuut: een stijging bij één host betekent dat die site iets veranderde; een stijging bij alle hosts betekent dat je setup of netwerk iets doet.
Fout verwijzing: vragen
Hoe kan ik zien of een fout van de proxy of de website komt?
Kijk waar het gebeurde. Fouten tijdens de CONNECT stap, weergegeven door curl -v voor een TLS-handshake, komen van de proxy: 407, of een 502 of 504 op CONNECT. Statussen die na de TLS-handshake komen, met de headers en HTML van de site, komen van de website. Client-fouten zoals time-outs en TLS-fouten komen van je eigen code of netwerk.
Worden mislukte verzoeken gefactureerd?
Verkeer wordt geteld in bytes die door de gateway gaan, dus een foutresponse die nooit een website bereikte, zoals 407, verplaatst bijna niks. Een blokkadepagina van een website is een normale respons en heeft een grootte zoals elke andere pagina. Verminder kosten door configuratiefouten vroeg te repareren en het tempo te verlagen op 403 en 429.
Wat is een normale foutmarge voor een scraper die residentiële proxy's gebruikt?
Dat hangt af van de doelen. Proxyway’s onderzoek uit 2026 meet een mediane succesrate van 99,28% op netwerken met residentiële proxy's, maar 74,43% op beveiligde echte doelen zoals Amazon, Google en Instagram. Meet je eigen doelen en volg de marge in tijd: een plotselinge verandering telt meer dan het absolute getal.