프록시를 이용한 스크래핑에서 403 Forbidden: 원인과 조치 사항

403 Forbidden가 무엇을 의미하나요?

RFC 9110은 403을 거부 상태로 정의합니다: 서버가 요청을 이해했고 수행하지 않습니다. 401과 달리 새 자격 증명으로 해결되지 않습니다. 사이트는 응답 본문에서 이유를 설명할 수 있지만, 많은 방화벽은 짧고 일반적인 페이지를 반환합니다.

스크레이퍼 입장에선 403은 정책 신호입니다. 사이트가 이 IP, 이 헤더, 이 속도로 온 요청에 페이지 제공을 거부했습니다. 일부 요소는 당신이 고칠 수 있고, 일부는 사이트가 거부 의사를 표현하는 것입니다.

Python, curl, Node.js, 브라우저에서 a 403는 어떻게 나타나나요?

같은 실패가 도구마다 다르게 출력됩니다. 로그에서 검색할 메시지들:

• Python requests: r.status_code == 403, 방화벽 공급자 HTML 본문이 자주 포함됨
• Scrapy: Ignoring response <403 https://...>: HTTP status code is not handled or not allowed
• curl: verbose 출력의 HTTP/2 403
• Playwright, Puppeteer: 내비게이션은 성공하나 response.status()가 403을 반환하며 접근 거부 메시지 표시

a 403의 원인은 무엇인가요?

가장 가능성 높은 첫 번째 원인:

• 지리적 위치. 출구 IP 국가에서 콘텐츠가 제공되지 않거나 사이트가 특정 지역만 제공
• IP 평판. 사이트는 자동화 트래픽으로 판단되는 주소 범위를 차단하며, 데이터센터 범위가 레지던셜보다 더 자주 차단됨
• 요청 지문. 누락되거나 일관성 없는 헤더, 예를 들어 Accept-Language 없음, 또는 일반 HTTP 클라이언트가 보내는 브라우저 User-Agent
• 요청 속도. 짧은 시간 내 세션당 너무 많은 요청으로 방화벽이 429에서 403으로 상승
• 접근 규칙. 페이지가 로그인, 유료 계정 필요하거나 robots.txt 또는 이용 약관으로 크롤러 제외
• 프록시 정책. 프록시 자체가 특정 대상을 거부할 수 있고, CrawlRelay에서는 이용 정책 내 목록에 해당됨

a 403를 단계별로 진단하는 방법은?

1. 같은 국가의 일반 브라우저에서 URL을 엽니다. 거기서도 실패하면 해당 위치에서 페이지가 공개되지 않은 것입니다.
2. 스크레이퍼가 보내는 헤더와 브라우저가 보내는 헤더를 비교하세요.
3. 대상의 robots.txt 및 자동화 접근 규칙을 확인하세요.
4. 시간 패턴을 봅니다: N번 이후 시작하는 403은 IP 문제보다 속도 문제일 가능성이 큽니다.

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

a 403를 어떻게 고치나요?

• 올바른 국가를 country- 매개변수로 선택해 현지 방문자가 보는 사이트 판본을 보세요.
• 진실하고 완전한 헤더를 보내세요. 연락처 URL이 포함된 User-Agent로 크롤러를 식별하고, Accept와 Accept-Language도 보내세요.
• 속도를 늦추세요. 호스트당 동시 요청 수를 줄이고 딜레이를 추가하세요. 403, 429, CAPTCHA 처리법 참고]
• 거부를 존중하세요. 사이트가 자동 접근을 의도적으로 차단한다면 공식 API, 데이터 라이선스, 공개 데이터 집합을 찾는 것이 좋습니다. 의도적 차단을 IP 회전으로 우회하는 것은 이용 정책 위반입니다.

a 403 이후에 다시 시도해야 하나요?

403은 최대 한 번, 잠시 쉬고 새 IP에서 재시도하세요. 한 번만 재시도하면 단일 표시된 IP와 사이트 전체 규칙을 구분할 수 있습니다. 두 번째 시도도 403이면 해당 URL 패턴에 요청 보내기를 중단하고 설정을 검토하세요. 403 반복은 대역폭 낭비이며 부드러운 차단을 강한 차단으로 만듭니다.

403 Forbidden가 CrawlRelay에 어떻게 적용되나요?

CrawlRelay에서는 세션 ID 없이 새 연결 시 일반적으로 다른 레지던셜 IP를 사용하므로 한 번 재시도하면 새 IP를 테스트하는 셈입니다. 재시도 시 동일 국가를 유지하세요: 국가 변경 시 비교 콘텐츠가 바뀝니다. 은행, 정부, 결제 포털 사이트는 게이트웨이에서 이용 정책상 차단됩니다.

게이트웨이: gw.crawlrelay.com, 포트 7777 (CONNECT를 통한 HTTP, HTTPS) 및 포트 7778 (SOCKS5). 사용자 이름 형식: USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}. 관련: 429 Too Many Requests · 401 vs 407 · 403, 429 및 캡차 처리.