SSL CERTIFICATE_VERIFY_FAILED via een proxy

Wat betekent SSL: CERTIFICATE_VERIFY_FAILED?

Tijdens de TLS-handshake stuurt de website een certificaatketen. Je client controleert deze aan de hand van een lijst met vertrouwde autoriteiten, de trust store, en controleert namen en data. Wanneer een controle faalt, stopt hij.

Met een CONNECT-tunnel geeft de proxy de handshake ongewijzigd door, dus het certificaat dat je ziet is het eigen certificaat van de website. Iets dat een eigen certificaat invoegt, zoals inspectiesoftware, of een verouderde trust store op je machine, is de gebruikelijke oorzaak.

Hoe ziet CERTIFICATE_VERIFY_FAILED eruit in Python, curl, Node.js en browsers?

Dezelfde fout verschijnt anders in elk hulpmiddel. Dit zijn de berichten om in je logs te zoeken:

• Python: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate
• Node.js: UNABLE_TO_GET_ISSUER_CERT_LOCALLY of SELF_SIGNED_CERT_IN_CHAIN
• curl: curl: (60) SSL certificate problem: unable to get local issuer certificate
• Browsers: NET::ERR_CERT_AUTHORITY_INVALID

Wat veroorzaakt CERTIFICATE_VERIFY_FAILED?

Waarschijnlijk eerst:

• Een verouderde CA-bundel, bijvoorbeeld een oud certifi-pakket in Python.
• HTTPS-inspectie door antivirus, een bedrijfs-firewall of een debugging-proxy, die een eigen certificaat presenteert.
• Een verkeerde systeemklok waardoor geldige certificaten verlopen of nog niet geldig lijken.
• Een website met een kapotte keten, zonder een intermediair certificaat.
• Een container image zonder het systeem CA-certificaten pakket.

Hoe diagnosticeer ik CERTIFICATE_VERIFY_FAILED stap voor stap?

1. Voer hetzelfde verzoek uit zonder proxy. Als het dan ook faalt, is de proxy niet de oorzaak.
2. Print de certificaatuitgever met openssl s_client of curl -v: een uitgever met de naam van je antivirus of firewall duidt op onderschepping.
3. Controleer datum en tijd van het systeem.
4. Update de CA-bundel en test opnieuw.

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

Hoe los ik CERTIFICATE_VERIFY_FAILED op?

• Update certifi (pip install -U certifi) of je systeem CA-pakket.
• Voeg het inspectiecertificaat van je bedrijf toe aan de trust store als het netwerk inspectie vereist, of run de scraper buiten dit netwerk.
• Los de klok op met netwerk tijd synchronisatie.
• Installeer CA-certificaten in slanke container images, bijvoorbeeld het ca-certificates pakket.
• Schakel verificatie niet uit in code die inloggegevens verzendt of waar je op vertrouwt.

Moet ik opnieuw proberen na CERTIFICATE_VERIFY_FAILED?

Probeer het niet opnieuw: dezelfde trust store faalt op dezelfde manier. Los de trust store, klok of netwerkroute op en probeer het opnieuw.

Hoe geldt SSL: CERTIFICATE_VERIFY_FAILED voor CrawlRelay?

De HTTP-poort van CrawlRelay tunnelt HTTPS met CONNECT, dus het certificaat dat je client controleert is dat van de website zelf. Als de fout alleen via de gateway verschijnt en nooit zonder, neem dan contact op met support met de doel hostname en de volledige foutmelding zodat we de exitzijde kunnen controleren.

Gateway: gw.crawlrelay.com, poort 7777 (HTTP, HTTPS via CONNECT) en poort 7778 (SOCKS5). Gebruikersnaamformaat: USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}. Gerelateerd: SSL: WRONG_VERSION_NUMBER · Verbindingsreset · Python-gids.