API proxy residensial yang berputar untuk web scraping

Bagaimana cara kerja API proxy residensial?

Anda mengirim setiap permintaan ke satu gateway, dan gateway meneruskannya melalui IP residensial yang sesuai dengan nama pengguna yang Anda kirim. Tidak ada daftar IP yang perlu diunduh dan tidak perlu menulis kode rotasi.

1. Otentikasi dengan nama pengguna dan kata sandi dari paket Anda atau sub-pengguna, atau dari IP yang diizinkan.
2. Pilih exit dengan menambahkan parameter pada nama pengguna: -country-de, -city-berlin, atau untuk Amerika Serikat -state-ny dan -zip-10001; -asn-7922 memilih penyedia internet tanpa biaya tambahan. Ketersediaan kota bervariasi.
3. Pilih sesi: tanpa ID sesi, setiap koneksi baru mendapat IP dari pool, biasanya berbeda; -session-<id>-ttl-<minutes> mempertahankan satu IP hingga 30 menit, meskipun IP dapat berubah lebih awal.

Nama pengguna yang sama bisa digunakan di port HTTP (7777) dan SOCKS5 (7778). Situs HTTPS melewati tunnel CONNECT, sehingga TLS berjalan antara klien Anda dan situs web.

import requests

GATEWAY = "gw.crawlrelay.com:7777"


def proxy(username, password):
    url = "http://%s:%s@%s" % (username, password, GATEWAY)
    return {"http": url, "https": url}


# Rotating: each new connection usually exits through a different residential IP in Germany
r = requests.get("https://api.ipify.org", proxies=proxy("USERNAME-country-de", "PASSWORD"), timeout=(10, 30))
print("rotating exit:", r.text)

# Sticky: the same IP for up to 30 minutes, across connections (it can change earlier)
sticky = proxy("USERNAME-country-de-city-berlin-session-crawl42-ttl-30", "PASSWORD")
for _ in range(3):
    print("sticky exit:", requests.get("https://api.ipify.org", proxies=sticky, timeout=(10, 30)).text)

Rotasi atau tetap: sesi mana yang harus digunakan oleh scraper?

Rotasi untuk halaman independen; tetap untuk alur. Crawler yang mengambil ribuan halaman produk atau artikel yang tidak terkait harus membuka koneksi baru per halaman, tanpa ID sesi, sehingga beban tersebar di banyak proxy residensial. Alur yang langkah berikutnya bergantung pada sebelumnya, seperti paginasi dengan kursor yang terkait cookie, harus mempertahankan satu sesi tetap hingga alur selesai.

Rotasi terjadi per koneksi baru, bukan per permintaan HTTP. Klien yang menjaga satu koneksi tetap hidup akan mempertahankan exit yang sama untuk setiap permintaan di dalamnya. Panduan sesi menunjukkan cara mengatur ini di requests, httpx, Scrapy, dan Playwright.

Berapa tingkat keberhasilan yang harus saya harapkan dari proxy residensial?

Harapkan tingkat koneksi tinggi dan tingkat keberhasilan lebih rendah pada target yang dilindungi, dan ukur keduanya. Proxyway's Proxy Market Research 2026 menguji 13 penyedia: median jaringan residensial menjawab 99,28% permintaan, namun hanya 74,43% permintaan ke target nyata seperti Amazon, Google, dan Instagram yang berhasil.

Perbedaan tersebut adalah filter target itu sendiri, yang tidak dihilangkan oleh proxy manapun. Kami tidak mempublikasikan angka tingkat keberhasilan sendiri sampai kami mengukurnya dengan metode yang jelas. Bandingkan penyedia berdasarkan biaya per permintaan berhasil untuk target Anda sendiri: jalankan 1.000 URL yang sama pada masing-masing, hitung balasan yang dapat digunakan, dan bagi biaya lalu lintas dengan jumlah tersebut.

Dari mana asal IP residensial?

Dari jaringan mitra yang sudah mapan. CrawlRelay tidak menjalankan jaringan perangkat sendiri: melainkan menjual kembali IP dari jaringan mitra hulu yang sudah ada. Penyedia hulu kami mengonfirmasi bahwa pemilik perangkat memilih ikut dan dapat memilih keluar, serta pasokannya tidak berasal dari jaringan yang disita atau terganggu seperti NetNut atau IPIDEA. Itu adalah konfirmasi penyedia, bukan pemeriksaan kami pada setiap perangkat; halaman sumber mencantumkan batasannya. Penghapusan 2026 menunjukkan konsekuensinya: pada Januari Google mengambil tindakan hukum terhadap domain IPIDEA, dan pada Juli FBI dan IRS-CI menyita domain NetNut, setelah Google melaporkan perangkat bergabung ke jaringan ini tanpa sepengetahuan pemiliknya. Tanyakan kepada penyedia mana saja, termasuk kami, asal IP-nya sebelum Anda membangun pipeline.