# Glosarium proxy dan web scraping

> Istilah proxy dan scraping dalam bahasa sederhana: gerbang backconnect, sesi lengket, CONNECT, socks5h, 407, Retry-After, CGNAT, robots.txt, opsi keluar TDM.

- URL: https://crawlrelay.com/id/glossary/
- Terakhir diperbarui: 2026-10-13
- Publisher: CrawlRelay (https://crawlrelay.com)

Kata-kata yang Anda temui dalam dokumen proxy, pesan kesalahan, dan hukum scraping, didefinisikan dalam satu atau dua kalimat, dengan tautan ke halaman yang membahas lebih dalam.

**Jawaban cepat — Apa itu proxy residensial yang berputar?**

Proxy residensial yang berputar adalah satu alamat gateway yang meneruskan setiap koneksi baru melalui alamat IP rumah yang berbeda dari kumpulan, sehingga situs web melihat pengguna internet rumah biasa. **CrawlRelay** menjual proxy residensial yang berputar untuk pengikis di US$1,50 untuk 1 GB dan US$0,50/GB dari 50 GB, dengan sesi lengket ketika Anda membutuhkan satu IP. Dibayar dengan crypto, tanpa KYC.

## Jenis dan jaringan proxy

**Proxy residensial** — Proxy yang alamat IP keluarannya berasal dari koneksi internet rumah dari penyedia konsumen. Situs melihat pengunjung rumah biasa. Lihat [proxy residensial](https://crawlrelay.com/id/residential-proxies/).

**Proxy seluler 4G** — Proxy yang alamat IP keluarannya berasal dari jaringan operator 4G/5G. Operator berbagi setiap IP di antara banyak pelanggan, jadi situs memblokirnya dengan hati-hati. Lihat [proxy seluler](https://crawlrelay.com/id/mobile-proxies/).

**Proxy datacenter** — Proxy yang di-hosting di pusat data, dengan IP yang terdaftar pada penyedia hosting. Cepat dan murah, tapi sering difilter oleh situs yang memblokir rentang hosting.

**Proxy ISP** — IP statis yang diumumkan oleh penyedia internet tapi di-hosting di pusat data. Terlihat residensial bagi beberapa database dan tetap tetap. CrawlRelay tidak menjual proxy ISP.

**Gerbang backconnect** — Satu host dan port yang meneruskan koneksi Anda ke banyak IP keluar di belakangnya. Anda mengubah keluarannya melalui nama pengguna atau dengan membuka koneksi baru, bukan dengan mengganti alamat.

**IP keluar (node keluar)** — Alamat IP yang dilihat oleh situs target. Pada gateway residensial adalah koneksi rumah yang dipilih sesuai dengan target Anda.

**CGNAT** — Carrier-grade NAT: operator seluler atau broadband menempatkan banyak pelanggan di belakang beberapa IP publik. RFC 6598 mengalokasikan 100.64.0.0/10 untuk ruang bersama dalam jaringan tersebut.

**ASN** — Nomor Sistem Otonom: pengenal jaringan di internet, seperti AS7922 untuk Comcast. Target ASN memilih keluarannya pada satu penyedia internet.

**Sumber** — Darimana asal IP residensial penyedia, dan dengan ketentuan apa pemilik perangkat berbagi bandwidth. Setelah penutupan IPIDEA dan NetNut di 2026, ini jadi pertanyaan penting dalam pembelian. Lihat [penyediaan](https://crawlrelay.com/id/sourcing/).

## Sesi, protokol, dan kesalahan

**Sesi berputar** — Nama pengguna tanpa ID sesi: setiap koneksi baru mendapat IP dari kumpulan, biasanya berbeda. Rotasi mengikuti koneksi, bukan permintaan HTTP individual.

**Sticky session** — Nama pengguna dengan ID sesi dan TTL: koneksi dengan ID itu mempertahankan IP keluar yang sama selama hingga 30 menit, walau IP bisa berubah lebih awal. Lihat [sesi](https://crawlrelay.com/id/docs/sessions/).

**TTL (durasi sesi)** — Berapa lama sesi lengket mempertahankan IP-nya, diatur dalam menit dengan `-ttl-<minutes>`. Sesi bisa berakhir lebih cepat jika perangkat di belakangnya offline.

**Keep-alive** — Menggunakan ulang satu koneksi TCP untuk beberapa permintaan HTTP. Lebih cepat, tapi setiap permintaan pada koneksi itu berbagi satu IP keluar.

**CONNECT** — Metode HTTP yang digunakan klien untuk meminta proxy membuat terowongan ke host dan port (RFC 9110, bagian 9.3.6). Lalu lalu lintas HTTPS berjalan end-to-end di dalam terowongan.

**SOCKS5** — Protokol proxy yang meneruskan koneksi TCP tanpa membaca HTTP (RFC 1928), dengan autentikasi nama pengguna dan kata sandi yang diatur di RFC 1929.

**socks5h** — Skema URL yang memberitahu klien untuk mengirimkan nama host ke proxy SOCKS5, sehingga DNS di-resolve di exit proxy, bukan di mesin Anda.

**Proxy-Authorization** — Header permintaan yang membawa kredensial proxy, biasanya Basic `username:password` dalam Base64. Proxy menghapusnya sebelum meneruskan.

**407 Proxy Authentication Required** — Proxy menolak permintaan karena kredensial tidak ada atau salah. Situs web tidak pernah dihubungi. Lihat [407](https://crawlrelay.com/id/docs/errors/407-proxy-authentication-required/).

**429 Too Many Requests** — Situs web membatasi kecepatan permintaan Anda (RFC 6585). Perlambat dan patuhi Retry-After. Lihat [429](https://crawlrelay.com/id/docs/errors/429-too-many-requests/).

**Retry-After** — Header respons yang memberikan jumlah detik, atau tanggal, untuk menunggu sebelum mencoba lagi (RFC 9110, bagian 10.2.3). Dikirim dengan respons 429 dan 503.

**Konkruensi** — Jumlah permintaan yang berjalan sekaligus. Berdasarkan hukum Little, ini sama dengan throughput dikali latensi. Batasi per host target. Lihat [concurrency](https://crawlrelay.com/id/docs/concurrency/).

## Praktik dan aturan crawling

**robots.txt** — File di akar situs yang memberi tahu klien otomatis jalur mana yang boleh diambil, distandarisasi sebagai RFC 9309 pada 2022. Crawlers sebaiknya tidak menyimpan cache lebih dari 24 jam.

**Crawl-delay** — Baris umum robots.txt non-standar yang memberi detik tunggu antar permintaan. Python's `urllib.robotparser` membacanya dengan `crawl_delay()`.

**User agent** — Header yang menyebut nama klien. Crawler yang bertanggung jawab mengirimkan nama, versi dan URL kontak sendiri, bukan nama crawler lain.

**Content Signals** — Ekstensi robots.txt Cloudflare dengan nilai `search`, `ai-input`, dan `ai-train`, diperkenalkan September 2025, yang memberi tahu crawler bagaimana konten boleh digunakan.

**TDM opt-out** — Reservasi berbentuk mesin dari pemilik hak terhadap text dan data mining menurut hukum hak cipta UE, yang harus dihormati penyedia model AI umum.

**CAPTCHA** — Tantangan yang menanyakan apakah pengunjung manusia. Untuk crawler itu sinyal untuk memperlambat atau berhenti; CrawlRelay tidak mendukung penyelesaian otomatis.

**Headless browser** — Browser tanpa jendela tampak, dijalankan oleh kode seperti Playwright atau Puppeteer. Merender JavaScript tapi mengunduh lebih banyak data per halaman daripada klien HTTP.

**JSON-LD** — Data terstruktur yang disematkan dalam halaman sebagai JSON, sering menggunakan tipe schema.org seperti Product dan Offer. Sumber paling stabil untuk harga dan fakta produk.

**WARC** — Format file Web ARChive untuk menyimpan permintaan dan respons HTTP mentah, digunakan oleh Common Crawl dan arsip web. Menyimpan respons mentah menghindari bayar dua kali untuk satu halaman.

**Conditional request** — Permintaan dengan `If-None-Match` atau `If-Modified-Since`. Halaman yang tidak berubah menjawab `304 Not Modified` tanpa badan, menghemat lalu lintas.

## Pembelian dan penagihan

**Bayar sesuai penggunaan** — Membeli lalu lintas sekali, saat dibutuhkan, bukan langganan bulanan. Di CrawlRelay, paket adalah pembelian satu kali dari saldo prabayar.

**Masa berlaku traffic** — Apakah gigabyte yang dibeli hilang setelah jangka waktu tertentu, misal 31 hari atau sebulan. Lalu lintas proxy residensial dan proxy seluler 4G CrawlRelay tidak pernah kadaluarsa.

**Gigabyte desimal** — 1 GB = 1.000.000.000 byte; gibibyte (GiB) adalah 1.073.741.824 byte. Tanyakan satuan yang digunakan penyedia untuk tagihan; CrawlRelay menggunakan GB desimal.

**Biaya per permintaan sukses** — Biaya lalu lintas dibagi dengan respons yang dapat digunakan. Perbandingan yang lebih baik antar penyedia dari pada harga per GB.

**Sub-user** — Satu set kredensial proxy terpisah dalam satu akun, dengan batas dan total lalu lintas sendiri, digunakan untuk memisahkan proyek atau klien.

**KYC** — Know Your Customer: verifikasi identitas dengan dokumen, selfie atau dokumen perusahaan. CrawlRelay tidak meminta sama sekali dan bergantung pada [Acceptable Use Policy](https://crawlrelay.com/id/acceptable-use/).

**AUP** — Acceptable Use Policy: aturan yang diikuti setiap akun, mencantumkan penggunaan yang diizinkan, dilarang dan target yang diblokir.

---

CrawlRelay: CrawlRelay adalah layanan proxy residensial dan proxy seluler 4G/5G yang berfokus pada pengembang untuk scraper dan pipeline data AI: trafik pay-as-you-go tanpa kedaluwarsa mulai dari US$0,50/GB, dibayar dengan crypto, tanpa perlu unggah ID. Tanpa KYC — tanpa ID, tanpa selfie, tanpa dokumen. Bayar dengan crypto.