프록시를 통한 SSL CERTIFICATE_VERIFY_FAILED

SSL: CERTIFICATE_VERIFY_FAILED가 무엇을 의미하나요?

TLS 핸드셰이크 중 웹사이트가 인증서 체인을 보냅니다. 클라이언트는 이를 신뢰 저장소에 있는 권한 목록과 이름, 유효 기간 등과 대조해 확인합니다. 어느 하나라도 실패하면 중단됩니다.

CONNECT 터널을 통해 프록시는 핸드셰이크를 수정 없이 전달하므로 본인이 보는 인증서는 웹사이트가 직접 보내는 것입니다. 자신의 인증서를 삽입하는 검사 소프트웨어나 시스템의 오래된 신뢰 저장소가 보통 원인입니다.

Python, curl, Node.js, 브라우저에서 CERTIFICATE_VERIFY_FAILED는 어떻게 나타나나요?

같은 실패가 도구마다 다르게 출력됩니다. 로그에서 검색할 메시지들:

• Python: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate
• Node.js: UNABLE_TO_GET_ISSUER_CERT_LOCALLY 또는 SELF_SIGNED_CERT_IN_CHAIN
• curl: curl: (60) SSL certificate problem: unable to get local issuer certificate
• 브라우저: NET::ERR_CERT_AUTHORITY_INVALID

CERTIFICATE_VERIFY_FAILED의 원인은 무엇인가요?

가장 가능성 높은 첫 번째 원인:

• 오래된 CA 번들 예를 들어 Python의 오래된 certifi 패키지
• 안티바이러스, 기업용 방화벽 또는 디버깅 프록시의 HTTPS 검사로 자체 인증서를 제시하는 경우
• 유효한 인증서를 만료되었거나 아직 유효하지 않은 것으로 만드는 잘못된 시스템 시계
• 중간 인증서가 누락된 깨진 인증서 체인
• 시스템 CA 인증서 패키지가 없는 컨테이너 이미지

CERTIFICATE_VERIFY_FAILED를 단계별로 진단하는 방법은?

1. 프록시 없이 같은 요청을 실행해 보세요. 실패하면 프록시 원인이 아닙니다.
2. openssl s_client 또는 curl -v로 인증서 발급자를 출력하세요. 안티바이러스나 방화벽 이름이 보이면 가로채기입니다.
3. 시스템 날짜와 시간을 확인하세요.
4. CA 번들을 업데이트하고 다시 테스트하세요.

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

CERTIFICATE_VERIFY_FAILED를 어떻게 고치나요?

• certifi(pip install -U certifi)이나 시스템 CA 패키지를 업데이트하세요.
• 네트워크가 HTTPS 검사를 한다면 기업용 검사 인증서를 신뢰 저장소에 추가하거나 검사를 하지 않는 네트워크에서 스크래퍼를 실행하세요.
• 네트워크 시간 동기화로 시계를 수정하세요.
• 슬림 컨테이너 이미지에는 CA 인증서를 설치하세요. 예: ca-certificates 패키지.
• 신뢰하거나 데이터 수집에 매우 중요한 코드에서는 검증을 비활성화하지 마세요.

CERTIFICATE_VERIFY_FAILED 이후에 다시 시도해야 하나요?

재시도하지 마세요: 같은 신뢰 저장소에서 같은 실패가 반복됩니다. 신뢰 저장소, 시스템 시계, 네트워크 경로 문제를 해결한 뒤 다시 실행하세요.

SSL: CERTIFICATE_VERIFY_FAILED가 CrawlRelay에 어떻게 적용되나요?

CrawlRelay의 HTTP 포트는 CONNECT와 함께 HTTPS를 터널링하므로 클라이언트가 검증하는 인증서는 웹사이트가 보내는 인증서입니다. 오류가 게이트웨이를 통해서만 발생하고 게이트웨이를 통하지 않으면 발생하지 않으면, 대상 호스트 이름과 전체 오류 메시지를 포함해 지원팀에 문의해 주세요.

게이트웨이: gw.crawlrelay.com, 포트 7777 (CONNECT를 통한 HTTP, HTTPS) 및 포트 7778 (SOCKS5). 사용자 이름 형식: USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}. 관련: SSL: WRONG_VERSION_NUMBER · Connection reset · Python 안내.