403 Forbidden lors du scraping via un proxy : causes et solutions

Que signifie 403 Forbidden ?

La RFC 9110 définit le 403 comme un refus : le serveur a compris la requête et ne l’exécutera pas. Contrairement au 401, de nouveaux identifiants ne serviront pas. Un site peut expliquer la raison dans le corps de la réponse, mais beaucoup de pare-feux renvoient une page générique courte.

Pour un scraper, un 403 est un signal de politique. Le site a décidé que cette requête, depuis cette IP, avec ces en-têtes, à ce rythme, ne doit pas accéder à la page. Certains de ces paramètres sont à corriger de votre côté. D’autres sont un non du site.

À quoi ressemble a 403 en Python, curl, Node.js et navigateurs ?

La même erreur s'affiche différemment selon chaque outil. Voici les messages à rechercher dans vos logs :

• Python requests : r.status_code == 403, souvent avec un corps HTML d’un fournisseur de pare-feu
• Scrapy : Ignoring response <403 https://...>: HTTP status code is not handled or not allowed
• curl : HTTP/2 403 dans la sortie verbose
• Playwright, Puppeteer : la navigation réussit mais response.status() retourne 403 et la page affiche un message d’accès refusé

Quelles sont les causes de a 403 ?

Probablement en premier lieu :

• Géographie. Le contenu n’est pas offert dans le pays de sortie IP, ou le site ne sert qu’une région.
• Réputation IP. Le site bloque des plages d’adresses qu’il associe au trafic automatisé. Les plages de datacenter sont bloquées plus souvent que les résidentielles.
• Empreinte requête. En-têtes manquants ou incohérents, tels qu’aucun Accept-Language, ou un User-Agent navigateur envoyé par un client HTTP simple.
• Rythme. Trop de requêtes en peu de temps depuis une même session, donc le pare-feu passe de 429 à 403.
• Règles d’accès. La page nécessite une connexion, un compte payant, ou est exclue pour les crawlers via robots.txt ou les conditions d’utilisation.
• Politique proxy. Certaines destinations sont refusées par le proxy lui-même. Chez CrawlRelay, cela correspond aux catégories listées dans la Politique d’Usage Acceptable.

Comment diagnostiquer a 403 étape par étape ?

1. Chargez l’URL dans un navigateur normal depuis le même pays. Si ça échoue aussi, la page n’est pas publique pour cette localisation.
2. Comparez les en-têtes envoyés par votre scraper à ceux envoyés par le navigateur.
3. Vérifiez le robots.txt du site cible et les conditions d’accès automatique.
4. Observez le motif temporel : des 403 qui arrivent après N requêtes indiquent un problème de rythme, pas d’IP.

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

Comment résoudre a 403 ?

• Choisissez le bon pays avec le paramètre country- pour voir l’édition du site vue par les visiteurs locaux.
• Envoyez des en-têtes sincères et complets. Identifiez votre crawler dans le User-Agent avec une URL de contact, et joignez Accept et Accept-Language.
• Ralentissez. Baissez la concurrence par hôte et ajoutez des délais. Voir comment gérer 403, 429 et CAPTCHA.
• Respectez un refus. Si un site bloque l’accès automatique volontairement, cherchez plutôt une API officielle, une licence de données ou un jeu de données public. Tourner les IPs pour contourner un blocage délibéré est interdit par notre Politique d’Usage Acceptable.

Dois-je réessayer après a 403 ?

Retentez un 403 au maximum une fois, après une pause, sur une nouvelle IP. Une seule tentative sépare une adresse signalée d’une règle site-wide. Si le second essai retourne aussi 403, arrêtez d’envoyer des requêtes à ce motif d’URL et revoyez votre configuration. Marteler un 403 gaspille de la bande passante et transforme un blocage doux en un blocage dur.

Quelle est l'incidence de 403 Forbidden sur CrawlRelay ?

Chez CrawlRelay, une nouvelle connexion sans ID de session sort généralement par une IP résidentielle différente, donc une seule tentative retest normalement une nouvelle adresse. Gardez le même pays lors de la tentative : changer de pays modifie le contenu que vous comparez. Les requêtes vers sites bancaires, gouvernementaux et portails de paiement sont refusées par la passerelle selon la PUA.

Passerelle : gw.crawlrelay.com, port 7777 (HTTP, HTTPS via CONNECT) et port 7778 (SOCKS5). Format du nom d'utilisateur : USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}. Voir aussi : 429 Too Many Requests · 401 vs 407 · Gestion des 403, 429 et CAPTCHAs.