SSL CERTIFICATE_VERIFY_FAILED über einen Proxy

Was bedeutet SSL: CERTIFICATE_VERIFY_FAILED?

Während des TLS-Handshakes sendet die Webseite eine Zertifikatskette. Ihr Client prüft diese gegen eine Liste vertrauenswürdiger Autoritäten, den Trust Store, und überprüft Namen und Daten. Wenn eine Prüfung fehlschlägt, stoppt er.

Bei einem CONNECT-Tunnel gibt der Proxy den Handshake unverändert weiter, sodass das Zertifikat, das Sie sehen, das der Webseite selbst ist. Übliche Ursachen sind etwas, das ein eigenes Zertifikat einschleust, wie Inspektionssoftware, oder ein veralteter Trust Store auf Ihrer Maschine.

Wie sieht CERTIFICATE_VERIFY_FAILED in Python, curl, Node.js und Browsern aus?

Der gleiche Fehler wird in jedem Tool anders angezeigt. Hier sind die Meldungen, nach denen Sie in Ihren Logs suchen sollten:

• Python: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate
• Node.js: UNABLE_TO_GET_ISSUER_CERT_LOCALLY oder SELF_SIGNED_CERT_IN_CHAIN
• curl: curl: (60) SSL certificate problem: unable to get local issuer certificate
• Browser: NET::ERR_CERT_AUTHORITY_INVALID

Was verursacht CERTIFICATE_VERIFY_FAILED?

Wahrscheinlich zuerst:

• Ein veraltetes CA-Bundle, zum Beispiel ein altes certifi-Paket in Python.
• HTTPS-Inspektion durch Antivirus, eine Firmenfirewall oder einen Debugging-Proxy, der ein eigenes Zertifikat präsentiert.
• Eine falsche Systemzeit, die gültige Zertifikate als abgelaufen oder noch nicht gültig erscheinen lässt.
• Eine Webseite mit einer defekten Kette, der ein Zwischenzertifikat fehlt.
• Ein Container-Image ohne System-CA-Zertifikate-Paket.

Wie diagnostiziere ich CERTIFICATE_VERIFY_FAILED Schritt für Schritt?

1. Führen Sie dieselbe Anfrage ohne Proxy aus. Wenn diese auch fehlschlägt, ist der Proxy nicht beteiligt.
2. Drucken Sie den Zertifikatsaussteller mit openssl s_client oder curl -v aus: Ein Aussteller, der nach Ihrem Antivirus oder der Firewall benannt ist, zeigt eine Inspektion an.
3. Prüfen Sie Datum und Uhrzeit des Systems.
4. Aktualisieren Sie das CA-Bundle und testen Sie erneut.

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

Wie behebe ich CERTIFICATE_VERIFY_FAILED?

• Aktualisieren Sie certifi (pip install -U certifi) oder Ihr System-CA-Paket.
• Fügen Sie das Inspektionszertifikat Ihrer Firma zum Trust Store hinzu, wenn Ihre Netzwerkinfrastruktur eine Inspektion erfordert, oder führen Sie den Scraper außerhalb dieses Netzwerks aus.
• Korrigieren Sie die Uhrzeit mit einer Netzwerksynchronisation.
• Installieren Sie CA-Zertifikate in schlanken Container-Images, zum Beispiel das ca-certificates-Paket.
• Deaktivieren Sie die Verifikation nicht in Code, der Zugangsdaten sendet oder auf die Daten angewiesen ist.

Soll ich nach CERTIFICATE_VERIFY_FAILED einen erneuten Versuch starten?

Versuchen Sie es nicht erneut: derselbe Trust Store schlägt genauso fehl. Beheben Sie den Trust Store, die Uhrzeit oder den Netzwerkpfad und starten Sie dann erneut.

Wie wirkt sich SSL: CERTIFICATE_VERIFY_FAILED auf CrawlRelay aus?

Der HTTP-Port von CrawlRelay tunnelt HTTPS mit CONNECT, sodass das Zertifikat, das Ihr Client prüft, das ist, welches die Webseite sendet. Wenn der Fehler nur über das Gateway auftaucht und sonst nie, kontaktieren Sie den Support mit dem Ziel-Hostname und der vollständigen Fehlermeldung, damit wir die Ausgangsseite prüfen können.

Gateway: gw.crawlrelay.com, Port 7777 (HTTP, HTTPS über CONNECT) und Port 7778 (SOCKS5). Benutzername im Format: USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}. Verwandt: SSL: WRONG_VERSION_NUMBER · Verbindung zurückgesetzt · Python-Leitfaden.