SSL CERTIFICATE_VERIFY_FAILED via un proxy

Que signifie SSL: CERTIFICATE_VERIFY_FAILED ?

Lors de la négociation TLS, le site web envoie une chaîne de certificats. Votre client la vérifie par rapport à une liste d'autorités de confiance, le magasin de confiance, et contrôle les noms et les dates. Si une vérification échoue, la connexion est interrompue.

Avec un tunnel CONNECT, le proxy transmet la négociation sans modification, donc le certificat que vous voyez est celui du site. Quelque chose qui insère son propre certificat, comme un logiciel d'inspection, ou un magasin de confiance périmé sur votre machine, est la cause habituelle.

À quoi ressemble CERTIFICATE_VERIFY_FAILED en Python, curl, Node.js et navigateurs ?

La même erreur s'affiche différemment selon chaque outil. Voici les messages à rechercher dans vos logs :

• Python : [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate
• Node.js : UNABLE_TO_GET_ISSUER_CERT_LOCALLY ou SELF_SIGNED_CERT_IN_CHAIN
• curl : curl: (60) SSL certificate problem: unable to get local issuer certificate
• Navigateurs : NET::ERR_CERT_AUTHORITY_INVALID

Quelles sont les causes de CERTIFICATE_VERIFY_FAILED ?

Probablement en premier lieu :

• Un bundle CA obsolète, par exemple un ancien paquet certifi sous Python.
• Inspection HTTPS par un antivirus, un pare-feu d'entreprise ou un proxy de débogage, qui présente son propre certificat.
• Une horloge système erronée qui fait apparaître les certificats valides comme expirés ou pas encore valides.
• Un site avec une chaîne cassée, manquant un certificat intermédiaire.
• Une image de conteneur sans le paquet de certificats CA système.

Comment diagnostiquer CERTIFICATE_VERIFY_FAILED étape par étape ?

1. Lancez la même requête sans le proxy. Si ça échoue aussi, le proxy n’est pas impliqué.
2. Affichez l’émetteur du certificat avec openssl s_client ou curl -v : un émetteur portant le nom de votre antivirus ou pare-feu indique une interception.
3. Vérifiez la date et l’heure système.
4. Mettez à jour le bundle CA et retestez.

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

Comment résoudre CERTIFICATE_VERIFY_FAILED ?

• Mettez à jour certifi (pip install -U certifi) ou votre paquet CA système.
• Ajoutez le certificat d’inspection de votre entreprise au magasin de confiance si votre réseau requiert une inspection, ou lancez le scraper hors de ce réseau.
• Réglez l’horloge avec une synchronisation réseau.
• Installez des certificats CA dans les images de conteneurs allégées, par exemple le paquet ca-certificates.
• Ne désactivez pas la vérification dans le code qui envoie des identifiants ou collecte des données critiques.

Dois-je réessayer après CERTIFICATE_VERIFY_FAILED ?

N’essayez pas à nouveau : le même magasin de confiance échoue de la même manière. Corrigez le magasin de confiance, l’horloge ou le chemin réseau, puis relancez.

Quelle est l'incidence de SSL: CERTIFICATE_VERIFY_FAILED sur CrawlRelay ?

Le port HTTP de CrawlRelay tunnelise le HTTPS avec CONNECT, donc le certificat vérifié par votre client est celui envoyé par le site web. Si l’erreur n’apparaît qu’à travers la passerelle et jamais sans, contactez le support avec le nom d’hôte ciblé et l’erreur complète pour que nous puissions vérifier le côté sortie.

Passerelle : gw.crawlrelay.com, port 7777 (HTTP, HTTPS via CONNECT) et port 7778 (SOCKS5). Format du nom d'utilisateur : USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}. Voir aussi : SSL: WRONG_VERSION_NUMBER · Connexion réinitialisée · Guide Python.