Referensi kesalahan proxy · Kode status HTTP

403 Forbidden saat scraping melalui proxy: penyebab dan cara mengatasinya

Kode status HTTP (4xx, kesalahan klien): pesan tepat di tiap alat, penyebab yang mungkin secara urut, dan perbaikan yang berhasil.

Terakhir diperbarui: 13 Oktober 2026 · 4 baca dalam menit

Jawaban cepat

Apa arti 403 Forbidden dengan proxy?

403 Forbidden berarti server memahami permintaan Anda dan menolak melayaninya. Saat Anda scrape lewat proxy residential CrawlRelay, 403 hampir selalu datang dari situs target atau firewallnya, bukan proxy. Cari tahu alasannya sebelum mengirim lebih banyak traffic: negara salah, header hilang, halaman di balik login, atau situs tidak mengizinkan akses otomatis.

403 Forbidden sekilas

Kesalahan	403 Forbidden
Tipe	Kode status HTTP (4xx, kesalahan klien)
Dikirim oleh	Biasanya situs target atau firewallnya; kadang proxy untuk tujuan yang diblokir
Didefinisikan dalam	RFC 9110, section 15.5.4
Mencoba lagi?	Sekali, setelah jeda dan IP baru; pengulangan 403 artinya berhenti
Periksa pertama	Buka URL yang sama di browser biasa dari negara yang sama

Apa arti 403 Forbidden?

RFC 9110 mendefinisikan 403 sebagai penolakan: server memahami permintaan tapi tidak akan memenuhinya. Berbeda dengan 401, kredensial baru tidak akan membantu. Situs mungkin menjelaskan alasannya di isi respons, tapi banyak firewall mengembalikan halaman singkat generik.

Bagi scraper, 403 adalah sinyal kebijakan. Situs memutuskan permintaan ini, dari IP ini, dengan header ini, pada kecepatan ini, tidak boleh mendapat halaman. Beberapa input harus Anda perbaiki. Lainnya adalah situs bilang tidak.

Seperti apa a 403 dalam Python, curl, Node.js, dan browser?

Kegagalan yang sama dicetak berbeda di setiap alat. Ini adalah pesan yang perlu dicari di log Anda:

Python requests: r.status_code == 403, sering dengan isi HTML dari vendor firewall
Scrapy: Ignoring response <403 https://...>: HTTP status code is not handled or not allowed
curl: HTTP/2 403 di output verbose
Playwright, Puppeteer: navigasi berhasil tapi response.status() mengembalikan 403 dan halaman menunjukkan pesan akses ditolak

Apa penyebab a 403?

Kemungkinan besar pertama:

Geografi. Konten tidak ditawarkan di negara IP keluar, atau situs hanya melayani satu wilayah.
Reputasi IP. Situs memblokir rentang alamat yang dikaitkan dengan traffic otomatis. Rentang datacenter lebih sering diblokir daripada residential.
Sidik jari permintaan. Header hilang atau tidak konsisten, seperti tidak ada Accept-Language, atau User-Agent browser dikirimkan oleh klien HTTP biasa.
Kecepatan. Terlalu banyak permintaan dalam waktu singkat dari satu sesi, firewall meningkatkan dari 429 ke 403.
Aturan akses. Halaman butuh login, akun bayar, atau dikecualikan untuk crawler di robots.txt atau syarat penggunaan.
Kebijakan proxy. Beberapa tujuan ditolak oleh proxy itu sendiri. Di CrawlRelay ini mencakup kategori dalam Acceptable Use Policy.

Bagaimana cara mendiagnosis a 403 langkah demi langkah?

Muat URL di browser biasa dari negara yang sama. Jika juga gagal di sana, halaman tidak publik untuk lokasi itu.
Bandingkan header yang dikirim scraper Anda dan yang dikirim browser.
Cek robots.txt target dan syarat untuk aturan akses otomatis.
Perhatikan pola waktu: 403 yang mulai setelah N permintaan mengarah ke kecepatan, bukan IP.

Uji URL yang gagal dengan curl (port HTTP, verbose)

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

Bagaimana cara memperbaiki a 403?

Pilih negara yang tepat dengan parameter country- agar Anda melihat edisi situs yang pengunjung lokal lihat.
Kirim header jujur dan lengkap. Identifikasi crawler Anda di User-Agent dengan URL kontak, dan kirim Accept serta Accept-Language.
Perlambat. Kurangi concurrency per host dan tambahkan jeda. Lihat cara menangani 403, 429 dan CAPTCHA.
Hargai penolakan. Jika situs sengaja blokir akses otomatis, cari API resmi, lisensi data, atau dataset publik. Memutar IP untuk melewati blokir sengaja melanggar Acceptable Use Policy.

Haruskah saya mencoba lagi setelah a 403?

Ulangi 403 maksimal sekali, setelah jeda, di IP baru. Satu pengulangan membedakan alamat terflag dari aturan situs luas. Jika percobaan kedua juga 403, hentikan kirim permintaan ke pola URL itu dan tinjau pengaturan Anda. Memaksakan 403 membuang bandwidth dan mengubah blokir ringan menjadi keras.

Bagaimana 403 Forbidden berlaku untuk CrawlRelay?

Di CrawlRelay, koneksi baru tanpa ID sesi biasanya keluar lewat IP residential berbeda, jadi satu pengulangan biasanya menguji alamat baru. Pertahankan negara sama saat ulangi: berpindah negara mengubah konten yang dibandingkan. Permintaan ke situs perbankan, pemerintahan dan portal pembayaran ditolak gateway sesuai AUP.

Gateway: gw.crawlrelay.com, port 7777 (HTTP, HTTPS melalui CONNECT) dan port 7778 (SOCKS5). Format username: USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}. Terkait: 429 Too Many Requests · 401 vs 407 · Menangani 403, 429 dan CAPTCHA.

403 Forbidden: pertanyaan yang sering ditanyakan pengembang

Apakah 403 berarti IP proxy saya diblokir?

Belum tentu. 403 bisa muncul karena negara yang salah, header yang hilang, laju permintaan yang tinggi, atau halaman yang tidak bersifat publik. Uji URL yang sama dari browser di negara yang sama dan bandingkan. Jika IP baru mendapatkan halaman tersebut dan yang lama tidak, maka IP lama tersebut terblokir. Jika setiap IP mendapatkan 403, aturan situs yang menjadi penyebabnya.

Apakah proxy residential menghilangkan kesalahan 403?

Tidak sebagai aturan. Exit residential di negara atau kota yang tepat memperbaiki 403 yang disebabkan lokasi salah, karena situs akan melayani edisi lokalnya. Jika situs memfilter rentang hosting atau menolak crawler untuk mengurangi lalu lintas otomatis, IP residential tidak membuat akses itu diizinkan. 403 yang disebabkan header, laju, atau tembok login perlu perbaikan di kode Anda.

Apakah legal terus scrape setelah 403?

403 adalah sinyal jelas bahwa situs menolak permintaan. Mendorong melewati penghalang teknis yang disengaja bisa menimbulkan risiko hukum di beberapa negara, misalnya berdasarkan undang-undang anti-sirkumvensi atau penyalahgunaan komputer. Ini bukan nasihat hukum. Baca tinjauan kami tentang hukum web scraping di 2026 dan tanyakan pada penasihat hukum Anda.

Kesalahan proxy lain dalam referensi ini

Kode status HTTP

Kesalahan browser dan klien

Error koneksi dan TLS

Proxy residensial dengan dokumentasi yang membahas kasus kegagalan

Proxy residensial CrawlRelay dari US$0,50/GB, lalu lintas yang tidak pernah kedaluwarsa.

Lihat harga Mulai cepat