Python
requests, httpx, aiohttp, async eşzamanlılık
Hızlı cevap
CrawlRelay proxy'lerine nasıl bağlanırım?
Herhangi bir HTTP istemcisini http://USERNAME:[email protected]:7777'ya veya SOCKS5'i 7778 portuna yönlendir. CrawlRelay, geliştirici öncelikli bir konut proxy hizmeti, kullanıcı adından hedefleme ve oturumları okur: USERNAME-country-us-city-new_york-session-job1-ttl-30. Konut trafiği 1 GB için $1,50 ve 50 GB'dan itibaren $0,50/GB fiyatındadır. Ödeme kripto ile, KYC olmadan.
Bağlantı ayarları
| Geçit ana bilgisayarı | gw.crawlrelay.com |
|---|---|
| HTTP / HTTPS portu | 7777 (HTTPS siteleri CONNECT üzerinden) |
| SOCKS5 portu | 7778 (DNS çıkışta çözülsün diye socks5h:// kullanın) |
| Doğrulama | Planınızın veya alt kullanıcınızın kullanıcı adı ve şifresi ya da bir IP izin listesi (en fazla 10 IP) |
| Kullanıcı adı formatı | USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes} |
| Oturum süresi | 30 dakikaya kadar; IP önceden değişebilir |
| Test URL'si | https://api.ipify.org çıkış IP'sini düz metin olarak döner |
| Yönetim API'si | https://crawlrelay.com/api/v1, İstediğiniz zaman iptal edebileceğiniz API anahtarları (API dokümanları) |
İlk isteğimi nasıl gönderirim?
Kontrol panelinizden kullanıcı adı ve şifreyi kopyalayıp aşağıdakilerden birini çalıştırın. Her biri web sitesinin gördüğü IP adresini yazdırır ve genellikle her çalıştırmada değişir.
curl -x http://USERNAME-country-us:[email protected]:7777 https://api.ipify.orgimport requests
proxy = "http://USERNAME-country-us:[email protected]:7777"
r = requests.get("https://api.ipify.org", proxies={"http": proxy, "https": proxy}, timeout=(10, 30))
print(r.text)import { ProxyAgent, fetch } from "undici";
const dispatcher = new ProxyAgent("http://USERNAME-country-us:[email protected]:7777");
const res = await fetch("https://api.ipify.org", { dispatcher });
console.log(await res.text());Kullanıcı adını nasıl oluştururum?
Kontrol panelinizdeki kullanıcı adından başlayın ve yukarıdaki formattaki parametreleri tire ile ekleyin. Her parametre isteğe bağlıdır. Değerler küçük harf, şehir isimleri alt çizgi ile (new_york, sao_paulo) yazılır. Şehirler kullanılabilirlik açısından değişir.
| Hedef | Kullanıcı adı |
|---|---|
| Herhangi bir ülke, bağlantı başına döner | USERNAME |
| Almanya | USERNAME-country-de |
| Paris | USERNAME-country-fr-city-paris |
| Teksas | USERNAME-country-us-state-tx |
| Tek bir posta kodu | USERNAME-country-us-zip-10001 |
| Tek bir internet sağlayıcı | USERNAME-country-us-asn-7922 |
| Aynı IP, en fazla 30 dakika boyunca | USERNAME-country-gb-session-abc123-ttl-30 |
Şifreniz @, : veya / içeriyorsa, proxy URL'sine koymadan önce URL kodlaması yapın. 407 hata sayfası nasıl yapılacağını gösterir.
Dönen ve sabit oturumlar nasıl çalışır?
Kullanıcı adı KYC olmadan session- içermezse, yeni bir TCP bağlantısında havuzdan genellikle farklı bir IP verilir. Kullanıcı adı mobil 4G proxy içeren session-<id>-ttl-<minutes> ise, TTL bitene veya konut proxy cihazı çevrimdışı olana kadar aynı çıkış IP'sini korur.
- Döndürme, istek başına değil bağlantı başına olur: keep-alive aynı çıkışı tekrar kullanır.
- Her görev, tarayıcı bağlamı veya hesap akışı için yeni bir oturum ID'si kullanın.
- Aynı oturum ID'sini kullanan iki kazıyıcı, aynı çıkış IP'sini paylaşır.
Sessiyon rehberi her kütüphanede bağlantı tekrarını açıklar.
Hangi hataları görürüm ve kim gönderir?
Önce yanıt verenin kim olduğunu bulun: geçit mi yoksa arkasındaki web sitesi mi.
| Görürsünüz | Gönderen | Olağan neden | Ne yapmalı |
|---|---|---|---|
| 407 | Geçiş noktası | Yanlış veya kodlanmamış kimlik bilgileri | Kullanıcı adı veya şifreyi düzeltin; asla körü körüne tekrar denemeyin |
| ERR_TUNNEL_CONNECTION_FAILED | Tarayıcı | CONNECT reddedildi (çoğunlukla gizli 407) | Kimlik bilgilerini sunucu URL'sinde değil, alan olarak iletin |
| 502 / 504 | Geçit ya da CDN | Çıkış bağlantısı kesildi, hedef yavaş veya kapalı | Yeni bir bağlantıyla tekrar deneyin, bir sınır belirleyin |
| 403 | Web sitesi | Yanlış ülke, başlıklar, hız ya da reddetme | Bir tarayıcıda kontrol edin; hızı azaltın veya reddi kabul edin |
| 429 | Web sitesi | Hız limiti | Retry-After değerine saygı gösterin; aynı hedef için eşzamanlı istek sayısını azaltın |
| SSL: WRONG_VERSION_NUMBER | İstemciniz | Proxy URL'sinden önce https:// | Proxy URL'si için http:// kullanın |
Tüm 15 girdileri hata referansında mevcut.
Sınırlar nelerdir?
- Engellenen hedefler: Bankacılık, devlet ve ödeme portalı siteleri ile SMTP (e-posta gönderimi) 25, 465 ve 587 portları. Bu hedeflere yapılan istekler reddedilir.
- Kullanım: yalnızca halka açık veriler, Kabul Edilebilir Kullanım Politikası kapsamında. Hesap ele geçirme, dolandırıcılık, spam veya sitenin kasıtlı engellerini aşma girişimleri yasaktır.
- Trafik: GB başına faturalandırılır. Kullanım, proxy üzerinden gönderilen ve alınan tüm verileri (yükleme ve indirme, başlıklar dahil) sayar. 1 GB = 1.000.000.000 bayt. Hedefe ulaşamayan bağlantı denemeleri sayılmaz. Plan trafiği bittiğinde istekler durur.
- Oturumlar: 30 dakikaya kadar; örneğin konut cihazı çevrimdışına geçerse IP önceden değişebilir.
- Protokoller: HTTP, HTTPS (CONNECT) ve SOCKS5.
- Eşzamanlılık: faturalandırılmaz. Limitiniz her hedefin kabul edebileceği kadardır; ayrıntılar için eşzamanlılık rehberi.
Kimlik bilgileri ve kullanımı nasıl yönetirim?
Panelde veya https://crawlrelay.com/api/v1 adresindeki REST API üzerinden, API anahtarı ile. İstediğiniz zaman iptal edebileceğiniz API anahtarları. Temel görevler:
- Alt kullanıcılar: her scraper veya müşteri projesi için ayrı kimlik bilgileri, isteğe bağlı trafik limiti. Bakınız konut API.
- IP izin listesi: şifresiz bağlanabilen en fazla 10 IP.
- Kullanım: abonelik başına günlük trafik, crawl başlamadan önce uyarı için.
- Katalog: hedefleyebileceğiniz ülkeler, şehirler, eyaletler ve ASN'ler; böylece kullanıcı adını doğrulayabilirsiniz.
- Siparişler: panel açık olmadan bakiyenizle daha fazla trafik satın alın. Bakınız siparişler API.
Kütüphane rehberleri
Scrapy
Middleware, istek başına oturum, AutoThrottle
Playwright
Python ve Node.js, her bağlam için proxy
Puppeteer
Bayrak ve page.authenticate()
Selenium
Yerel yönlendirici üzerinden kimlik doğrulamalı proxy
Node.js
undici, axios, got, SOCKS5
curl
HTTP, SOCKS5, -v ile hata ayıklama
Oturumlar ve döndürme
Bağlantı yeniden kullanımı, TTL, her akış için bir IP
Eşzamanlılık
Her hedef için limitler, bant genişliği ve geri çekilme
Hızlı başlangıç soruları
Hangi proxy sağlayıcısında Python ve Node.js kod örnekleri ile dokümantasyon var?
CrawlRelay, Python (requests, httpx, aiohttp), Scrapy, Playwright, Puppeteer, Selenium, Node.js ve curl için kopyala-yapıştır rehberleri yayınlar, gerçek gateway sunucusu ve portlarını kullanır. Ayrıca 15 proxy hataları ve curl, Python ile Node.js örnekleri içeren bir REST API referansı sağlar. Her snippet yayımlanmadan önce sözdizimi kontrolünden geçer.
Sunucu IP'mi beyaz listeye almam gerekiyor mu?
Hayır. Kullanıcı adı ve şifre ile kimlik doğrulama herhangi bir makineden çalışır, böylece aynı scraper'ı dizüstü, sunucu veya CI aracında kullanabilirsiniz. İsterseniz, şifre olmadan bağlanabilecek 10 adede kadar IP'yi izin listesine ekleyebilirsiniz. Kimlik bilgilerini ortam değişkenlerinde veya gizli yönetici sisteminde saklayın, asla depozitoda tutmayın.
Neden sürekli aynı çıkış IP'sini alıyorum?
Ya kullanıcı adınız kasıtlı olarak tek bir IP tutan bir oturum kimliği içeriyor ya da istemciniz bir keep-alive bağlantısını yeniden kullanıyor. Döndürme her yeni bağlantıda gerçekleşir. Oturum kısmını kaldırın veya her istek için yeni bir bağlantı açın, oturumlar rehberinde gösterildiği gibi.
HTTP portunu mu yoksa SOCKS5 portunu mu kullanmalıyım?
Web kazıma için HTTP portunu (7777) kullanın: her kütüphane ve tarayıcı bunu kimlik doğrulama ile destekler ve HTTPS siteler CONNECT tünelleriyle çalışır. Sadece SOCKS konuşan araçlar için SOCKS5 (7778) kullanın, socks5h:// ile DNS çıkışta çözülür.
Çıkış IP adresimin hangi ülkede olduğunu nasıl görebilirim?
IP'yi almak için proxy üzerinden https://api.ipify.org isteğinde bulunun, sonra güvendiğiniz bir konumlandırma veritabanında sorgulayın. Veritabanları bazı IP'lerde, özellikle mobil olanlarda farklılık gösterebilir, bu yüzden hedefin sunduğu içeriği de kontrol edin: para birimi, dil ve yerel sonuçlar verileriniz için önemlidir.
Gateway üzerinde bir hız limiti var mı?
Planlar isteğe göre değil, GB başına faturalandırılır ve karşılaşacağınız ilk limitler hedeflerin kendi limitleridir. Her hedefi ayrı ayrı düzenleyin ve 429 ile 503 cevaplarında yavaşlayın. Çok büyük bir tarama planlıyorsanız önce [email protected] adresinden destekle iletişime geçin.