Proxy ile kazıma sırasında 403 Forbidden: nedenler ve yapılacaklar

403 Forbidden ne anlama gelir?

RFC 9110 403’ü bir reddetme olarak tanımlar: sunucu isteği anladı ve yerine getirmeyecek. 401’in aksine yeni kimlik bilgileri yardımcı olmaz. Site yanıt gövdesinde sebebi açıklayabilir, ancak çoğu güvenlik duvarı kısa genel bir sayfa döner.

Kazıyıcı için 403 bir politika sinyalidir. Site bu IP’den, bu başlıklarla, bu hızda gelen isteğe sayfayı vermemeye karar vermiştir. Girdilerin bazıları size bağlı, bazıları sitenin 'hayır' dediği şeylerindir.

Python, curl, Node.js ve tarayıcılarda a 403 nasıl görünür?

Aynı başarısızlık her araçta farklı şekilde görünür. Loglarınızda aramanız gereken mesajlar şunlardır:

• Python requests: r.status_code == 403, genellikle güvenlik duvarı satıcısından HTML gövdesiyle
• Scrapy: Ignoring response <403 https://...>: HTTP status code is not handled or not allowed
• curl: ayrıntılı çıktıda HTTP/2 403
• Playwright, Puppeteer: gezinme başarılı ama response.status() 403 döner ve sayfa erişim reddi mesajı gösterir

a 403 neden olur?

Öncelikle en olası sebep:

• Coğrafya. İçerik çıkış IP’sinin ülkesinde sunulmuyor veya site yalnızca tek bir bölgeye hizmet veriyor.
• IP itibarı. Site otomatik trafiğe ait adres aralıklarını engelliyor. Veri merkezi aralıkları yerleşiklerden daha sık engellenir.
• İstek parmakizi. Eksik veya tutarsız başlıklar, örn. Accept-Language yok veya basit HTTP istemcisi tarafından gönderilen tarayıcı User-Agent.
• Hız. Kısa sürede çok sayıda istek, güvenlik duvarı 429’dan 403’e çıkarır.
• Erişim kuralları. Sayfa oturum açma, ücretli hesap ister veya robots.txt veya kullanım koşullarında kazıyıcılar hariç tutulmuştur.
• Proxy politikası. Bazı hedefler vekil tarafından reddedilir. CrawlRelay’de bu Kabul Edilebilir Kullanım Politikası’nda belirtilen kategorileri kapsar.

a 403 nasıl adım adım teşhis edilir?

1. Aynı ülkeden normal tarayıcıda URL’yi açın. Orada da başarısızsa, sayfa o konumda halka açık değildir.
2. Kazıyıcınızın gönderdiği başlıkları tarayıcının gönderdiğiyle karşılaştırın.
3. Hedefin robots.txt ve otomatik erişim kurallarını kontrol edin.
4. Zaman desenine bakın: N istekten sonra başlayan 403’ler hız sorununa işaret eder, IP’ye değil.

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

a 403 nasıl düzeltilir?

• Doğru ülkeyi seçin country- parametresi ile, böylece yerel ziyaretçilerin gördüğü site versiyonunu görürsünüz.
• Dürüst ve eksiksiz başlıklar gönderin. Kazıyıcınızı User-Agent’ta iletişim URL’siyle tanıtın ve Accept ile Accept-Language gönderin.
• Yavaşlayın. Sunucu başına eşzamanlılığı azaltın ve gecikmeler ekleyin. 403, 429 ve CAPTCHA ile başa çıkma sayfasını inceleyin.
• Reddetmeyi saygı gösterin. Site otomatik erişimi amaçlı engelliyorsa, resmi API, veri lisansı veya halka açık veri kümesi arayın. Engeli aşmak için IP değiştirmek Kabul Edilebilir Kullanım Politikamızın dışındadır](/acceptable-use/).

a 403 sonrası tekrar denenmeli mi?

403 hata kodunu en fazla bir kez tekrar deneyin, bekleme sonrası ve yeni IP’de. Tek bir tekrar işaretli bir adresi site genel kuralından ayırır. İkinci denemede de 403 gelirse, o URL kalıbına istek göndermeyi kesin ve ayarlarınızı gözden geçirin. 403’ü aşırı zorlamanın bant genişliğini tüketip hafif engeli kalıcı bloğa dönüştürdüğünü unutmayın.

403 Forbidden CrawlRelay için nasıl geçerli?

CrawlRelay’de yeni bağlantı genellikle farklı bir yerleşik IP’den çıkar, bu yüzden tek bir tekrar yeni adresi test eder. Tekrar ederken ülkeyi değiştirmeyin; ülke değişikliği karşılaştırdığınız içeriği değiştirir. Bankacılık, devlet ve ödeme portalı sitelerine yapılan istekler AUP uyarınca kapı tarafından reddedilir.

Gateway: gw.crawlrelay.com, port 7777 (HTTP, HTTPS CONNECT üzerinden) ve port 7778 (SOCKS5). Kullanıcı adı formatı: USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}. İlgili: 429 Too Many Requests · 401 vs 407 · 403, 429 ve CAPTCHA işleme.