403 Forbidden przy scrape przez proxy: przyczyny i co robić

Co oznacza 403 Forbidden?

RFC 9110 definiuje 403 jako odmowę: serwer zrozumiał żądanie, ale go nie wykona. W przeciwieństwie do 401 nowe dane nie pomogą. Strona może podać powód w treści, ale wiele firewalli zwraca krótka generyczną stronę.

Dla scraperów 403 to sygnał polityczny. Serwis zdecydował, że to żądanie, z tego IP, z tymi nagłówkami, tą częstotliwością nie ma dostać strony. Część możesz poprawić, część to stanowcze nie ze strony.

Jak wygląda a 403 w Python, curl, Node.js i przeglądarkach?

Ten sam błąd wyświetla się inaczej w każdym narzędziu. Oto komunikaty, które warto wyszukać w logach:

• Python requests: r.status_code == 403, często z HTML od firewalla
• Scrapy: Ignoring response <403 https://...>: HTTP status code is not handled or not allowed
• curl: HTTP/2 403 w trybie verbose
• Playwright, Puppeteer: nawigacja działa, ale response.status() zwraca 403 i strona pokazuje wiadomość o odmowie dostępu

Co powoduje a 403?

Najczęściej na początku:

• Geografia. Treść niedostępna w kraju IP wyjściowego lub serwis obsługuje tylko jeden region.
• Reputacja IP. Serwis blokuje zakresy adresów kojarzone z ruchem automatycznym. Datacentra częściej blokowane niż residential.
• Odznaka żądania. Brak lub niespójne nagłówki, np. brak Accept-Language albo User-Agent przeglądarki wysłany przez prostego klienta HTTP.
• Tempo. Zbyt wiele żądań w krótkim czasie z jednej sesji, firewall eskaluje z 429 do 403.
• Zasady dostępu. Strona wymaga logowania, konta płatnego lub wyklucza crawlowanie w robots.txt albo regulaminie.
• Polityka proxy. Niektóre cele są odrzucane przez samo proxy. W CrawlRelay obejmuje to kategorie wymienione w polityce Acceptable Use.

Jak krok po kroku zdiagnozować a 403?

1. Załaduj URL w normalnej przeglądarce z tego samego kraju. Jeśli się nie załaduje, strona nie jest publiczna w tej lokalizacji.
2. Porównaj nagłówki wysyłane przez scraper z tymi z przeglądarki.
3. Sprawdź regulamin i robots.txt celu pod kątem zasad dostępu automatycznego.
4. Obserwuj schemat czasowy: 403 pojawiające się po N żądaniach to tempo, nie IP.

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

Jak naprawić a 403?

• Wybierz właściwy kraj za pomocą parametru country-, aby zobaczyć wersję strony dla lokalnych użytkowników.
• Wyślij rzetelne, kompletne nagłówki. Identyfikuj crawlera w User-Agent z linkiem kontaktowym, oraz wyślij Accept i Accept-Language.
• Zwolnij tempo. Zmniejsz współbieżność na hosta i dodaj opóźnienia. Zobacz jak obsługiwać 403, 429 i CAPTCHA.
• Uszanuj odmowę. Jeśli serwis celowo blokuje dostęp automatyczny, poszukaj oficjalnego API, licencji danych lub publicznych zbiorów. Rotacja IP by ominąć blokadę narusza naszą politykę Acceptable Use.

Czy warto ponawiać próbę po a 403?

Powtórz 403 najwyżej raz, po przerwie i na nowym IP. Jednorazowa powtórka rozróżnia pojedynczy adres od reguły serwisowej. Jeśli za drugim razem też 403, przerwij wysyłanie na ten wzór URL i sprawdź konfigurację. Natarczywe powtarzanie 403 marnuje transfer i zmienia miękki blok w twardy.

Jak 403 Forbidden odnosi się do CrawlRelay?

Na CrawlRelay nowe połączenie bez ID sesji zwykle wychodzi przez inne residential IP, więc pojedyncza powtórka testuje świeży adres. Zachowaj ten sam kraj przy powtórce: zmiana kraju zmienia porównywane treści. Żądania do banków, urzędów i portali płatniczych są blokowane przez bramę zgodnie z AUP.

Gateway: gw.crawlrelay.com, port 7777 (HTTP, HTTPS przez CONNECT) i port 7778 (SOCKS5). Format nazwy użytkownika: USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}. Powiązane: 429 Too Many Requests · 401 vs 407 · Obsługa 403, 429 i CAPTCHA.