Glosarium proxy dan web scraping

Proxy yang alamat IP keluarannya berasal dari koneksi internet rumah dari penyedia konsumen. Situs melihat pengunjung rumah biasa. Lihat proxy residensial.

Proxy yang alamat IP keluarannya berasal dari jaringan operator 4G/5G. Operator berbagi setiap IP di antara banyak pelanggan, jadi situs memblokirnya dengan hati-hati. Lihat proxy seluler.

Proxy yang di-hosting di pusat data, dengan IP yang terdaftar pada penyedia hosting. Cepat dan murah, tapi sering difilter oleh situs yang memblokir rentang hosting.

IP statis yang diumumkan oleh penyedia internet tapi di-hosting di pusat data. Terlihat residensial bagi beberapa database dan tetap tetap. CrawlRelay tidak menjual proxy ISP.

Satu host dan port yang meneruskan koneksi Anda ke banyak IP keluar di belakangnya. Anda mengubah keluarannya melalui nama pengguna atau dengan membuka koneksi baru, bukan dengan mengganti alamat.

Alamat IP yang dilihat oleh situs target. Pada gateway residensial adalah koneksi rumah yang dipilih sesuai dengan target Anda.

Carrier-grade NAT: operator seluler atau broadband menempatkan banyak pelanggan di belakang beberapa IP publik. RFC 6598 mengalokasikan 100.64.0.0/10 untuk ruang bersama dalam jaringan tersebut.

Nomor Sistem Otonom: pengenal jaringan di internet, seperti AS7922 untuk Comcast. Target ASN memilih keluarannya pada satu penyedia internet.

Darimana asal IP residensial penyedia, dan dengan ketentuan apa pemilik perangkat berbagi bandwidth. Setelah penutupan IPIDEA dan NetNut di 2026, ini jadi pertanyaan penting dalam pembelian. Lihat penyediaan.

Nama pengguna tanpa ID sesi: setiap koneksi baru mendapat IP dari kumpulan, biasanya berbeda. Rotasi mengikuti koneksi, bukan permintaan HTTP individual.

Nama pengguna dengan ID sesi dan TTL: koneksi dengan ID itu mempertahankan IP keluar yang sama selama hingga 30 menit, walau IP bisa berubah lebih awal. Lihat sesi.

Berapa lama sesi lengket mempertahankan IP-nya, diatur dalam menit dengan -ttl-<minutes>. Sesi bisa berakhir lebih cepat jika perangkat di belakangnya offline.

Menggunakan ulang satu koneksi TCP untuk beberapa permintaan HTTP. Lebih cepat, tapi setiap permintaan pada koneksi itu berbagi satu IP keluar.

Metode HTTP yang digunakan klien untuk meminta proxy membuat terowongan ke host dan port (RFC 9110, bagian 9.3.6). Lalu lalu lintas HTTPS berjalan end-to-end di dalam terowongan.

Protokol proxy yang meneruskan koneksi TCP tanpa membaca HTTP (RFC 1928), dengan autentikasi nama pengguna dan kata sandi yang diatur di RFC 1929.

Skema URL yang memberitahu klien untuk mengirimkan nama host ke proxy SOCKS5, sehingga DNS di-resolve di exit proxy, bukan di mesin Anda.

Header permintaan yang membawa kredensial proxy, biasanya Basic username:password dalam Base64. Proxy menghapusnya sebelum meneruskan.

Proxy menolak permintaan karena kredensial tidak ada atau salah. Situs web tidak pernah dihubungi. Lihat 407.

Situs web membatasi kecepatan permintaan Anda (RFC 6585). Perlambat dan patuhi Retry-After. Lihat 429.

Header respons yang memberikan jumlah detik, atau tanggal, untuk menunggu sebelum mencoba lagi (RFC 9110, bagian 10.2.3). Dikirim dengan respons 429 dan 503.

Jumlah permintaan yang berjalan sekaligus. Berdasarkan hukum Little, ini sama dengan throughput dikali latensi. Batasi per host target. Lihat concurrency.

File di akar situs yang memberi tahu klien otomatis jalur mana yang boleh diambil, distandarisasi sebagai RFC 9309 pada 2022. Crawlers sebaiknya tidak menyimpan cache lebih dari 24 jam.

Baris umum robots.txt non-standar yang memberi detik tunggu antar permintaan. Python's urllib.robotparser membacanya dengan crawl_delay().

Header yang menyebut nama klien. Crawler yang bertanggung jawab mengirimkan nama, versi dan URL kontak sendiri, bukan nama crawler lain.

Ekstensi robots.txt Cloudflare dengan nilai search, ai-input, dan ai-train, diperkenalkan September 2025, yang memberi tahu crawler bagaimana konten boleh digunakan.

Reservasi berbentuk mesin dari pemilik hak terhadap text dan data mining menurut hukum hak cipta UE, yang harus dihormati penyedia model AI umum.

Tantangan yang menanyakan apakah pengunjung manusia. Untuk crawler itu sinyal untuk memperlambat atau berhenti; CrawlRelay tidak mendukung penyelesaian otomatis.

Browser tanpa jendela tampak, dijalankan oleh kode seperti Playwright atau Puppeteer. Merender JavaScript tapi mengunduh lebih banyak data per halaman daripada klien HTTP.

Data terstruktur yang disematkan dalam halaman sebagai JSON, sering menggunakan tipe schema.org seperti Product dan Offer. Sumber paling stabil untuk harga dan fakta produk.

Format file Web ARChive untuk menyimpan permintaan dan respons HTTP mentah, digunakan oleh Common Crawl dan arsip web. Menyimpan respons mentah menghindari bayar dua kali untuk satu halaman.

Permintaan dengan If-None-Match atau If-Modified-Since. Halaman yang tidak berubah menjawab 304 Not Modified tanpa badan, menghemat lalu lintas.

Membeli lalu lintas sekali, saat dibutuhkan, bukan langganan bulanan. Di CrawlRelay, paket adalah pembelian satu kali dari saldo prabayar.

Apakah gigabyte yang dibeli hilang setelah jangka waktu tertentu, misal 31 hari atau sebulan. Lalu lintas proxy residensial dan proxy seluler 4G CrawlRelay tidak pernah kadaluarsa.

1 GB = 1.000.000.000 byte; gibibyte (GiB) adalah 1.073.741.824 byte. Tanyakan satuan yang digunakan penyedia untuk tagihan; CrawlRelay menggunakan GB desimal.

Biaya lalu lintas dibagi dengan respons yang dapat digunakan. Perbandingan yang lebih baik antar penyedia dari pada harga per GB.

Satu set kredensial proxy terpisah dalam satu akun, dengan batas dan total lalu lintas sendiri, digunakan untuk memisahkan proyek atau klien.

Know Your Customer: verifikasi identitas dengan dokumen, selfie atau dokumen perusahaan. CrawlRelay tidak meminta sama sekali dan bergantung pada Acceptable Use Policy.

Acceptable Use Policy: aturan yang diikuti setiap akun, mencantumkan penggunaan yang diizinkan, dilarang dan target yang diblokir.