Proxy seluler 4G/5G dengan rotasi untuk scraping target sulit

Mengapa situs lebih jarang memblokir IP seluler?

Karena satu IP seluler biasanya mewakili banyak orang nyata. Operator menggunakan carrier-grade NAT: ribuan ponsel berbagi sejumlah alamat publik yang terbatas, dan RFC 6598 bahkan mengalokasikan rentang 100.64.0.0/10 untuk jaringan internal tersebut. Situs yang memblokir satu IP seluler berpotensi menutup akses seluruh pelanggan di belakangnya, jadi kebanyakan situs memblokir rentang seluler dengan hati-hati.

Pembagian yang sama ini memiliki konsekuensi bagi Anda. IP seluler dapat memiliki riwayat digunakan oleh pengguna operator lain, dan kecepatannya bergantung pada sinyal dan beban sel. Itu sebabnya lalu lintas seluler adalah alat untuk target khusus, bukan opsi default.

Apakah proxy seluler 4G layak dengan harga GB yang lebih tinggi?

Hanya jika proxy residensial gagal. Lalu lintas proxy residensial CrawlRelay biaya US$0,50/GB mulai dari 50 GB; proxy seluler 4G biayanya US$1,50/GB. Dalam Proxy Market Research 2026 dari Proxyway, tingkat keberhasilan median untuk target nyata adalah 75,26% untuk proxy seluler dan 74,43% untuk proxy residensial: rata-rata, seluler tidak jauh lebih baik.

Keuntungannya spesifik pada target. Ukur sebelum membayar:

1. Jalankan 200 sampai 500 URL dari satu target melalui proxy residensial dan mobile.
2. Hitung respons yang dapat digunakan, bukan hanya HTTP 200: halaman blokir juga bisa mengembalikan 200.
3. Bagi biaya lalu lintas tiap percobaan dengan jumlah respons yang bisa dipakai.
4. Arahkan domain ke proxy seluler hanya jika biaya per respons yang bisa dipakai lebih rendah di sana.

Bagaimana cara mengarahkan hanya beberapa domain ke IP seluler?

Simpan dua set kredensial, satu per paket, lalu pilih sesuai permintaan. Sisa pengatur scraper tetap sama: gateway sama, sintaks username sama, logika retry sama.

from urllib.parse import urlsplit

import requests

GATEWAY = "gw.crawlrelay.com:7777"
RESIDENTIAL = ("RES_USERNAME-country-us", "RES_PASSWORD")
MOBILE = ("MOB_USERNAME-country-us", "MOB_PASSWORD")
MOBILE_HOSTS = {"m.example.com", "app.example.org"}  # hosts where residential measured worse


def proxies_for(url):
    user, password = MOBILE if urlsplit(url).hostname in MOBILE_HOSTS else RESIDENTIAL
    proxy = "http://%s:%s@%s" % (user, password, GATEWAY)
    return {"http": proxy, "https": proxy}


for url in ["https://www.example.com/item/1", "https://m.example.com/item/1"]:
    r = requests.get(url, proxies=proxies_for(url), timeout=(10, 45))
    print(url, r.status_code, len(r.content))

Bagaimana rotasi bekerja di pool mobile?

Sama dengan proxy residensial: username tanpa session ID mendapatkan IP carrier baru setiap koneksi baru, dan -session-<id>-ttl-<minutes> mempertahankan satu IP di beberapa koneksi. Ada dua perbedaan yang penting:

• Operator mengubah IP secara otomatis. Sesi proxy seluler dengan IP tetap bisa kehilangan IP lebih awal dari TTL ketika perangkat reconnect ke jaringan.
• Latensi lebih bervariasi. Beri timeout baca lebih lama untuk permintaan seluler, sekitar 45-60 detik, dan coba ulang lewat koneksi baru daripada menunggu terlalu lama.