Jawaban cepat
Berapa GB lalu lintas proxy yang saya butuhkan untuk scraping 1.000 halaman?
Sekitar 0,05 GB untuk 1.000 halaman HTML terkompresi, sekitar 0,5 GB dengan browser headless yang memblokir gambar, dan sekitar 2,2 GB untuk 1.000 halaman render penuh, menggunakan median HTTP Archive Web Almanac 2025 sebesar 2.164 KB per halaman mobile. Kalikan dengan harga per GB Anda: CrawlRelay lalu lintas proxy residensial biaya US$0,50/GB mulai 50 GB dan tidak pernah kedaluwarsa. Tanpa KYC. Bayar dengan crypto.
Matematika lalu lintas sekilas
| Rumus | GB = halaman × rata-rata KB terkompresi per halaman ÷ 1.000.000 |
|---|---|
| Bobot median halaman, semua sumber daya | 2.164 KB di mobile, 2.412 KB di desktop (Web Almanac 2025, crawling Juli 2025) |
| Median HTML | 22 KB di halaman utama; 33–35 KB di pengukuran lain pada bab yang sama |
| Satuan | 1 GB = 1.000.000.000 byte (desimal, unit yang ditagih pada CrawlRelay); 1 GiB = 1.073.741.824 byte |
| Penghematan terbesar | Ambil HTML atau JSON daripada merender; blokir gambar, font, dan media saat merender |
| Harga CrawlRelay | US$1,50 untuk 1 GB; US$0,50/GB dari 50 GB |
Berapa GB dan dolar per 1.000 halaman?
Ukuran terkompresi tipikal per tipe halaman. Tiga kolom biaya menggunakan harga referensi per GB supaya Anda bisa membaca dari penyedia mana pun; harga CrawlRelay sendiri adalah US$0,50/GB mulai 50 GB.
| Apa yang Anda ambil | ≈ KB per halaman | GB per 1.000 halaman | Di $0,50/GB | Di $1,00/GB | Di $3,50/GB |
|---|---|---|---|---|---|
| Respon API JSON | 10 | 0.01 | $0.005 | $0.01 | $0.035 |
| Halaman HTML, terkompresi | 50 | 0.05 | $0.025 | $0.05 | $0.18 |
| HTML berat (script inline besar) | 150 | 0.15 | $0.075 | $0.15 | $0.53 |
| Browser headless, gambar, font dan media diblokir | 500 | 0.5 | $0.25 | $0.50 | $1.75 |
| Render penuh, halaman mobile median | 2,164 | 2.16 | $1.08 | $2.16 | $7.57 |
$3,50/GB adalah harga daftar median pada 10 GB dalam indeks harga Oktober 2026. Berat halaman dari HTTP Archive Web Almanac 2025 dan ukuran terkompresi tipikal; ukur halaman Anda sendiri.
Bagaimana cara mengukur halaman saya sendiri?
Ambil sampel 100 hingga 1.000 URL asli melalui proxy residensial, jumlahkan byte yang diterima di jaringan, dan buat perkiraan. httpx's num_bytes_downloaded menghitung byte terkompresi, yang mendekati apa yang ditagihkan oleh proxy residensial. Tambahkan beberapa kilobyte per koneksi baru untuk TLS handshake jika Anda mengganti IP di setiap permintaan.
import statistics
import httpx
PROXY = "http://USERNAME-country-us:[email protected]:7777"
SAMPLE = ["https://example.com/", "https://example.org/", "https://example.net/"] # use 100+ real URLs
sizes = []
with httpx.Client(proxy=PROXY, timeout=httpx.Timeout(30.0, connect=10.0), follow_redirects=True) as client:
for url in SAMPLE:
try:
r = client.get(url)
sizes.append(r.num_bytes_downloaded)
except httpx.HTTPError:
pass
if sizes:
mean = statistics.mean(sizes)
print("pages measured:", len(sizes))
print("mean bytes per page: %.0f" % mean)
print("GB per 1,000 pages: %.3f" % (mean * 1000 / 1e9))
print("GB for 1 million pages: %.1f" % (mean * 1_000_000 / 1e9))Rencana mana yang cocok untuk proyek mana?
Ubah jumlah halaman Anda menjadi gigabyte, lalu pilih rencana yang mencakupnya. Dengan HTML sekitar 50 KB per halaman:
| Proyek | Halaman | Traffic | Rencana CrawlRelay |
|---|---|---|---|
| Uji target baru | 5,000 | ≈0,25 GB | 1 GB (US$1,50) |
| Monitor kecil, satu bulan | 100,000 | ≈5 GB | 5 GB (US$3,75) atau 10 GB (US$5,94) |
| Perayapan katalog | 1 juta | ≈50 GB | 50 GB (US$25) |
| Korpus multi-situs | 10 juta | ≈500 GB | 500 GB (US$250) |
| Korpus AI besar | 20 juta | ≈1 TB | 1 TB (US$500) |
Traffic tidak pernah kedaluwarsa, jadi Anda bisa membeli rencana yang lebih besar sekali saja dan menggunakannya selama beberapa bulan.
Bagaimana saya mengurangi traffic proxy tanpa kehilangan data?
- Ambil data, bukan halamannya. Jika situs mendokumentasikan atau mengizinkan endpoint JSON-nya, itu hanya sebagian kecil dari HTML.
- Render hanya jika perlu. Browser headless mengambil script, style, gambar dan font; HTTP biasa hanya mengambil satu dokumen.
- Blokir sumber berat di browser: gambar, font, dan media adalah sebagian besar byte halaman.
- Aktifkan kompresi. Kirim
Accept-Encoding: gzip, br; sebagian besar klien melakukannya secara default. - Lewati halaman yang tidak berubah dengan
If-None-MatchatauIf-Modified-Since:304mengenakan biaya beberapa ratus byte. - Dedup URL sebelum Anda mengantri mereka: parameter pelacakan dan ID sesi membuat salinan halaman yang sama.
- Simpan respons mentah sehingga bug parser tidak memaksa unduhan kedua.
Bandwidth proxy: pertanyaan
Berapa biaya untuk scrape 1 juta halaman dengan proxy residensial?
Dengan HTML terkompresi sekitar 50 KB per halaman, 1 juta halaman menggunakan sekitar 50 GB. Dengan CrawlRelay itu adalah rencana 50 GB, US$25, per Oktober 2026. Merender setiap halaman di browser dengan median 2 MB akan menggunakan sekitar 2 TB, jadi metode pengambilan data lebih penting empat puluh kali lipat dibandingkan penyedia.
Apakah proxy menghitung lalu lintas unggah dan unduh?
Bandwidth proxy menghitung data yang lewat melalui gateway untuk koneksi Anda; untuk scraping, hampir semua respons dihitung. Permintaan dengan badan besar, seperti unggahan file, menambah ukuran mereka sendiri. Di CrawlRelay: Penggunaan menghitung semua data yang dikirim dan diterima melalui proxy (unggah dan unduh, termasuk header). 1 GB = 1.000.000.000 byte. Upaya koneksi yang gagal sebelum mencapai target tidak dihitung.
Apakah IP baru per permintaan menggunakan lebih banyak lalu lintas?
Sedikit. Setiap koneksi baru membutuhkan handshake TLS dengan situs web, biasanya beberapa kilobyte termasuk rantai sertifikat. Pada halaman 50 KB itu hanya beberapa persen; pada respons JSON kecil bisa menjadi bagian besar. Gunakan sesi sticky dengan keep-alive untuk banyak permintaan ke satu situs ketika keragaman IP tidak penting.
Mana yang lebih penting, harga per GB atau GB per halaman?
GB per halaman jauh lebih penting. Perbedaan antara pengambilan HTML dan merender halaman penuh sekitar empat puluh kali, sementara harga daftar median hanya dua sampai lima kali harga termurah pada volume yang sama. Optimalkan metode pengambilan terlebih dahulu, lalu bandingkan penyedia di tabel harga.
Sumber (2)
- Web Almanac 2025: Berat Halaman — HTTP Archive (2026-01-15)
- Indeks harga proxy residensial 2026 — CrawlRelay (2026-10-13)
Beli gigabyte yang sudah Anda ukur
US$1,50 untuk 1 GB, US$0,50/GB dari 50 GB, tanpa kadaluarsa.