403 Forbidden bij scrapen via een proxy: oorzaken en wat te doen

Wat betekent 403 Forbidden?

RFC 9110 definieert 403 als weigering: de server begreep het verzoek en zal het niet uitvoeren. In tegenstelling tot 401 helpen nieuwe inloggegevens niet. Een site kan de reden in de responsbody zetten, maar veel firewalls geven een korte generieke pagina.

Voor een scraper is 403 een beleidsboodschap. De site heeft besloten dat dit verzoek, van dit IP, met deze headers, op dit tempo, de pagina niet mag krijgen. Sommige inputs kan je verbeteren. Andere zeggen gewoon nee.

Hoe ziet a 403 eruit in Python, curl, Node.js en browsers?

Dezelfde fout verschijnt anders in elk hulpmiddel. Dit zijn de berichten om in je logs te zoeken:

• Python requests: r.status_code == 403, vaak met een HTML-body van een firewall-leverancier
• Scrapy: Ignoring response <403 https://...>: HTTP status code is not handled or not allowed
• curl: HTTP/2 403 in de verbose output
• Playwright, Puppeteer: navigatie slaagt maar response.status() geeft 403 en de pagina toont een toegang geweigerd boodschap

Wat veroorzaakt a 403?

Waarschijnlijk eerst:

• Geografie. De inhoud wordt niet aangeboden in het land van het exit-IP, of de site serveert slechts één regio.
• IP-reputatie. De site blokkeert adresbereiken die ze associëren met geautomatiseerd verkeer. Datacenterbereiken worden vaker geblokkeerd dan woonbereiken.
• Request fingerprint. Missende of inconsistente headers, zoals geen Accept-Language of een browser User-Agent van een plain HTTP-client.
• Tempo. Te veel verzoeken in korte tijd vanuit één sessie, waardoor de firewall escaleert van 429 naar 403.
• Toegangsregels. De pagina vereist login, betaald account, of is uitgesloten voor crawlers in robots.txt of de gebruiksvoorwaarden.
• Proxybeleid. Sommige bestemmingen worden door de proxy zelf geweigerd. Bij CrawlRelay betreft dat categorieën in de Acceptable Use Policy.

Hoe diagnosticeer ik a 403 stap voor stap?

1. Laad de URL in een normale browser vanuit hetzelfde land. Als het daar ook niet werkt, is de pagina niet openbaar in die locatie.
2. Vergelijk de headers die je scraper stuurt met die van de browser.
3. Controleer de robots.txt en voorwaarden van het doel op regels voor automatisch toegang.
4. Kijk naar het tijdspatroon: 403's die beginnen na N verzoeken duiden op tempo, niet op IP.

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

Hoe los ik a 403 op?

• Kies het juiste land met de country- parameter zodat je de editie ziet die lokale bezoekers zien.
• Stuur eerlijke, volledige headers. Identificeer je crawler in de User-Agent met een contact-URL, en stuur Accept en Accept-Language mee.
• Vertraag. Verlaag gelijktijdigheid per host en voeg vertraging toe. Zie hoe je 403, 429 en CAPTCHAs aanpakt.
• Respecteer een weigering. Als een site opzettelijk automatische toegang blokkeert, zoek dan een officiële API, data-licentie of een publieke dataset. Het roteren van IP's om een bewuste blokkade te omzeilen valt buiten onze Acceptable Use Policy.

Moet ik opnieuw proberen na a 403?

Probeert een 403 op zijn hoogst eenmaal opnieuw, na pauze, op een nieuw IP. Eén retry onderscheidt een enkele geblokkeerde adres van een sitebrede regel. Als de tweede poging ook 403 geeft, stop dan met verzoeken naar dat URL-patroon en controleer je setup. Blijven pushen veroorzaakt een harde blokkade.

Hoe geldt 403 Forbidden voor CrawlRelay?

Bij CrawlRelay stuurt een nieuwe verbinding zonder sessie-ID meestal via een ander woon-IP, dus een retry test normaal een vers adres. Hou hetzelfde land aan bij retry: wisselen verandert de content die je vergelijkt. Verzoeken naar bank-, overheid- en betaalportalen worden geweigerd door de gateway onder de AUP.

Gateway: gw.crawlrelay.com, poort 7777 (HTTP, HTTPS via CONNECT) en poort 7778 (SOCKS5). Gebruikersnaamformaat: USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}. Gerelateerd: 429 Too Many Requests · 401 vs 407 · Omgaan met 403, 429 en CAPTCHA's.