SSL CERTIFICATE_VERIFY_FAILED via proxy

O que SSL: CERTIFICATE_VERIFY_FAILED significa?

Durante o handshake TLS, o site envia uma cadeia de certificados. Seu cliente verifica contra uma lista de autoridades confiáveis, o trust store, e checa nomes e datas. Se alguma verificação falhar, ele para.

Com um túnel CONNECT, o proxy passa o handshake sem alterações, então o certificado que você vê é o do próprio site. Algo que insere seu próprio certificado, como software de inspeção, ou um trust store desatualizado na sua máquina, é a causa usual.

Como CERTIFICATE_VERIFY_FAILED aparece em Python, curl, Node.js e navegadores?

A mesma falha aparece de forma diferente em cada ferramenta. Estas são as mensagens para buscar nos seus logs:

• Python: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate
• Node.js: UNABLE_TO_GET_ISSUER_CERT_LOCALLY ou SELF_SIGNED_CERT_IN_CHAIN
• curl: curl: (60) SSL certificate problem: unable to get local issuer certificate
• Navegadores: NET::ERR_CERT_AUTHORITY_INVALID

O que causa CERTIFICATE_VERIFY_FAILED?

Mais provável inicialmente:

• Um bundle de CA desatualizado, por exemplo um pacote certifi antigo no Python.
• Inspeção HTTPS por antivírus, firewall corporativo ou proxy de depuração, que apresenta seu próprio certificado.
• Relógio do sistema errado que faz certificados válidos parecerem expirados ou ainda não válidos.
• Um site com cadeia quebrada, faltando um certificado intermediário.
• Uma imagem de container sem o pacote de certificados CA do sistema.

Como diagnosticar CERTIFICATE_VERIFY_FAILED passo a passo?

1. Execute a mesma requisição sem o proxy. Se também falhar, o proxy não está envolvido.
2. Imprima o emissor do certificado com openssl s_client ou curl -v: um emissor nomeado como seu antivírus ou firewall indica interceptação.
3. Verifique a data e hora do sistema.
4. Atualize o bundle de CA e teste novamente.

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

Como corrigir CERTIFICATE_VERIFY_FAILED?

• Atualize certifi (pip install -U certifi) ou o pacote CA do seu sistema.
• Adicione o certificado de inspeção da sua empresa ao trust store se sua rede exigir inspeção, ou execute o scraper fora dessa rede.
• Corrija o relógio com sincronização via rede.
• Instale certificados CA em imagens de container enxutas, por exemplo o pacote ca-certificates.
• Não desative a verificação no código que envia credenciais ou coleta dados em que você confia.

Devo tentar novamente após CERTIFICATE_VERIFY_FAILED?

Não tente novamente: o mesmo trust store falha da mesma forma. Corrija o trust store, o relógio ou o caminho da rede, e então execute novamente.

Como SSL: CERTIFICATE_VERIFY_FAILED se aplica ao CrawlRelay?

A porta HTTP do CrawlRelay faz túneis HTTPS com CONNECT, então o certificado que seu cliente verifica é o que o site envia. Se o erro aparece só pelo gateway e nunca sem ele, entre em contato com o suporte com o hostname alvo e o erro completo para que possamos verificar o lado de saída.

Gateway: gw.crawlrelay.com, porta 7777 (HTTP, HTTPS via CONNECT) e porta 7778 (SOCKS5). Formato do usuário: USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}. Relacionado: SSL: WRONG_VERSION_NUMBER · Connection reset · Guia Python.