Hızlı cevap
Proxied isteğin neden başarısız olduğunu nasıl öğrenirim?
Öncelikle kim cevap verdiğini bulun: proxy geçidi (407, CONNECT hataları, bazı 502 ve 504), web sitesi (401, 403, 429, çoğu 503) veya kendi istemciniz (TLS ve zaman aşımı hataları). Sonra tam mesajı aşağıdaki sayfayla eşleştirin. Bu referans, 15 hatalarını, CrawlRelay konut proxy veya herhangi bir HTTP ya da SOCKS5 proxy ile karşılaşan kazıyıcılar için ve her birini düzeltmek için kodları kapsar.
Hangi hataya bakıyorum?
Belirtilerinizi bulun ve tam teşhis için sayfayı açın.
| Belirti | Gönderen | Tekrar denensin mi? | Sayfa |
|---|---|---|---|
407, 'Tünel bağlantısı başarısız: 407' | Proxy | Hayır | 407 Proxy Authentication Required |
401 ile WWW-Authenticate | Web sitesi | Hayır | 401 ve 407 farkı |
403 sayfası veya güvenlik duvarı mesajı | Web sitesi | Bir kez, sonra dur | 403 Yasaklandı |
429, genellikle Retry-After ile beraber | Web sitesi | Evet, sonra | 429 Çok Fazla İstek |
502, 'CONNECT tüneli başarısız, yanıt 502' | Proxy veya CDN | Evet, yeni çıkış | 502 Bad Gateway |
503, bakım veya doğrulama sayfası | Web sitesi veya CDN | Evet, bekleyerek | 503 Service Unavailable |
504 | Proxy veya CDN | Bir veya iki kez | 504 Gateway Timeout |
net::ERR_TUNNEL_CONNECTION_FAILED | Tarayıcı (proxy CONNECT reddetti) | Nedeni düzelttikten sonra | ERR_TUNNEL_CONNECTION_FAILED |
net::ERR_PROXY_CONNECTION_FAILED | Tarayıcı (proxy erişilemez) | Hayır | ERR_PROXY_CONNECTION_FAILED |
ProxyError: Unable to connect to proxy | Python istemcisi | Nedenine bağlı | Proxy bağlantısı sağlanamıyor |
[SSL: WRONG_VERSION_NUMBER] | TLS kitaplığınız | Hayır | SSL: WRONG_VERSION_NUMBER |
CERTIFICATE_VERIFY_FAILED | TLS kitaplığınız | Hayır | Sertifika doğrulaması başarısız |
ReadTimeout, 'Okuma zaman aşımı' | İstemciniz | Evet, yeni çıkış | Okuma zaman aşımı |
ECONNRESET, 'socket kapanması', 'Karşı taraf bağlantıyı sıfırladı' | Ağ | Evet, güvenli istekler | Bağlantı sıfırlandı |
| 'SOCKS desteği için eksik bağımlılıklar', curl hata 97 | İstemci veya SOCKS sunucusu | Duruma bağlı | SOCKS5 hataları |
Tüm hata türleri
HTTP durum kodları
- 401 Unauthorized vs 407
- 403 Forbidden
- 407 Proxy Authentication Required
- 429 Too Many Requests
- 502 Bad Gateway
- 503 Service Unavailable
- 504 Gateway Timeout
Tarayıcı ve istemci hataları
Bağlantı ve TLS hataları
Hangi hatalar bir scraper tarafından otomatik olarak tekrar denenmeli?
Kendi kendine değişebilecek olanları tekrar dene, değişmeyenlerde dur:
- Yeni bağlantıyla tekrar dene: 502, 504, bağlantı sıfırlamaları ve okuma zaman aşımı. Yeni bağlantı genellikle farklı bir konut proxy çıkışı sağlar.
- Daha sonra, daha yavaş tekrar dene: 429 ve 503.
Retry-Afterkadar bekle veya üstel olarak gecik ve bu sunucudaki eşzamanlı işlemleri azalt. - Bir kez tekrar dene, sonra dur: 403. Yeni IP ile bir kere tekrar denemek, işaretlenmiş adresi site kuralından ayırır.
- Asla körü körüne tekrar deneme: 407, 401, TLS hataları ve erişilemeyen proxyler. Bunlar yapılandırma sorunlarıdır.
Python kılavuzu, urllib3'ün Retry kullanarak bu kurallara uyan bir tekrar deneme politikası gösterir.
Hataları nasıl kaydederim ki hata ayıklaması kolay olsun?
Başarısız her istek için beş alanı kaydet: URL'nin ana bilgisayarı, durum kodu veya istisna sınıfı, varsa oturum kimliği, ilk byte'a kadar geçen süre ve yanıt gövdesinin ilk 200 karakteri. Gövde, hata sayfasını bir CDN, güvenlik duvarı veya proxy'nin yazıp yazmadığını gösterir. Hata sayısını her ana bilgisayar ve durum için her dakika say: bir ana bilgisayarda artış siteye bir değişiklik olduğunu; her ana bilgisayarda artış ise kurulumunda veya ağında bir sorun olduğunu gösterir.
Hata referansı: sorular
Bir hatanın proxyden mi yoksa web sitesinden mi kaynaklandığını nasıl anlarım?
Hatanın nerede gerçekleştiğine bak. curl -v tarafından TLS el sıkışması öncesinde gösterilen CONNECT adımındaki hatalar proxy kaynaklıdır: 407, veya CONNECT üzerinde 502 veya 504. TLS el sıkışmasından sonra, sitenin başlıkları ve HTML'siyle gelen durumlar web sitesindendir. Zaman aşımı ve TLS hataları gibi istemci hataları kendi kodun veya ağındandır.
Başarısız istekler ücretlendirilir mi?
Trafik, geçiş noktası üzerinden taşınan bayt olarak sayılır, bu yüzden hiç web sitesine ulaşmayan bir hata yanıtı (örneğin 407) neredeyse hiç veri taşımaz. Bir web sitesinden gelen engelleme sayfası normal bir yanıt olup diğer sayfalara benzer boyuttadır. Her ikisini de yapılandırma hatalarını erken düzelterek ve 403 ile 429’da hızı yavaşlatarak azaltın.
Konut proxy kullanarak çalışan bir scraper için normal hata oranı nedir?
Hedeflere bağlıdır. Proxyway’in 2026 araştırması, konut proxy ağlarında %99,28 median başarı oranı, ancak Amazon, Google ve Instagram gibi korumalı gerçek hedeflerde ise %74,43 oran ölçmüştür. Kendi hedeflerinizi ölçün ve zaman içinde oranı takip edin: ani değişiklik mutlak sayıdan daha önemlidir.