Proxy ve web scraping sözlüğü

Çıkış IP'si bir tüketici sağlayıcısına ait ev internet bağlantısına ait olan proxy. Siteler sıradan ev kullanıcısı olarak görür. konut proxy'lerine bakın.

Çıkış IP'si bir 4G/5G operatör ağına ait olan proxy. Operatörler her IP’yi birçok abone arasında paylaşır, bu yüzden siteler onları dikkatli engeller. mobil proxy'lere bakın.

Bir veri merkezinde barındırılan ve IP'si barındırma sağlayıcısına kayıtlı proxy. Hızlı ve ucuzdur, ancak barındırma aralıklarını engelleyen siteler tarafından sık filtrelenir.

Bir internet sağlayıcısı tarafından duyurulan ancak veri merkezinde barındırılan statik IP. Bazı veritabanlarında konut gibi görünür ve sabittir. CrawlRelay ISP proxy satmaz.

Bağlantılarınızı birçok çıkış IP’sine yönlendiren tek bir ana bilgisayar ve port. Çıkışları kullanıcı adıyla veya yeni bağlantılar açarak değiştirirsiniz, adres değiştirerek değil.

Hedef web sitesinin gördüğü IP adresi. Konut proxy (residential gateway) ile hedeflemenize uyan bir ev bağlantısı seçilir.

Carrier-grade NAT: bir mobil veya genişbant operatörü birçok aboneyi birkaç ortak IP'nin arkasına koyar. RFC 6598, 100.64.0.0/10 adres aralığını bu ağlarda paylaşılan alan için ayırır.

Otonom Sistem Numarası: İnternet üzerindeki bir ağın tanımlayıcısı, örneğin Comcast için AS7922. ASN hedefleme, çıkışları bir internet sağlayıcısına göre seçer.

Bir sağlayıcının konut IP’lerinin geldiği yer ve cihaz sahiplerinin bant genişliğini hangi koşullarda paylaştığı. 2026 IPIDEA ve NetNut kapatmaları sonrası önemli bir satın alma sorusu. kaynakça sayfasına bakın.

Oturum kimliği olmayan bir kullanıcı adı: her yeni bağlantı havuzdan genellikle farklı bir IP alır. Döndürme bağlantılarla, tek tek HTTP istekleriyle olmaz.

Belli bir oturum kimliği ve TTL taşıyan kullanıcı adı: o kimliği kullanan bağlantılar 30 dakikaya kadar boyunca aynı çıkış IP'sini kullanır, ancak IP daha erken değişebilir. oturumlara bakın.

Yapışkan oturumun IP'sini kaç dakika koruyacağı, -ttl-<minutes> ile ayarlanır. Bağlı cihaz çevrimdışı olursa oturum erken bitebilir.

Bir TCP bağlantısını birden fazla HTTP isteği için yeniden kullanma. Daha hızlıdır ama o bağlantıdaki her istek aynı çıkış IP'sini paylaşır.

Bir istemcinin proxy’den bir host ve porta tünel istemek için kullandığı HTTP yöntemi (RFC 9110, bölüm 9.3.6). HTTPS trafiği ardından tünel içinde uçtan uca akar.

HTTP okumadan TCP bağlantılarını aktaran bir proxy protokolü (RFC 1928), kullanıcı adı ve parola doğrulaması RFC 1929’da tanımlıdır.

Bir istemciye, DNS çözümlemesinin kendi cihazınızda değil çıkışta yapılması için host isimlerini SOCKS5 proxy’e göndermesini söyleyen URL şeması.

Genellikle Base64 kodlu Basic username:password biçiminde proxy kimlik bilgilerini taşıyan istek başlığı. Proxy, iletmeden önce bunu kaldırır.

Proxy, kimlik bilgileri eksik veya yanlış olduğu için isteği reddetti. Web sitesine hiç erişilmedi. Bakınız 407.

Web sitesi isteklere kısıtlama getiriyor (RFC 6585). Yavaşlayın ve Retry-After'a uyun. Bakınız 429.

İstek tekrarından önce beklenmesi gereken saniye sayısını veya tarihi belirten yanıt başlığı (RFC 9110, bölüm 10.2.3). 429 ve 503 yanıtlarıyla birlikte gönderilir.

Aynı anda yapılan uçuş halindeki istek sayısı. Little yasasına göre bu, verim ile gecikmenin çarpımına eşittir. Her hedef sunucu için sınırlandırın. Bakınız concurrency.

Bir sitenin kök dizininde yer alan ve otomatik istemcilere hangi yolları alabileceklerini bildiren dosya. 2022'de RFC 9309 ile standardize edilmiştir. Tarayıcılar bunu 24 saatten fazla önbelleğe almamalıdır.

Robots.txt içinde yaygın kullanılan, standart dışı bir satır olup istekler arasındaki bekleme süresini saniye cinsinden belirtir. Python’un urllib.robotparser bunu crawl_delay() ile okur.

İstemciyi tanımlayan başlık. Sorumlu bir tarayıcı kendi adını, sürümünü ve iletişim URL'sini gönderir; başka bir tarayıcının adını asla kullanmaz.

Cloudflare’ın robots.txt uzantısı; search, ai-input ve ai-train değerleri Eylül 2025’te tanıtıldı. Tarayıcılara içeriğin nasıl kullanılabileceğini bildirir.

Bir hak sahibinin AB telif hakkı yasası kapsamında metin ve veri madenciliğine karşı makine tarafından okunabilir rezervasyonudur. Genel amaçlı AI modelleri bunu dikkate almak zorundadır.

Ziyaretçinin insan olup olmadığını sorgulayan bir doğrulama. Bir tarayıcı için bu yavaşlaması veya durması gerektiğinin sinyalidir; CrawlRelay otomatik çözümü desteklemez.

Görünür pencere olmadan, Playwright veya Puppeteer gibi kodla çalışan tarayıcı. JavaScript render eder ama her sayfa için HTTP istemciden çok daha fazla veri indirir.

JSON olarak bir sayfaya gömülü yapılandırılmış veri, genellikle schema.org tipleriyle (örneğin Product ve Offer). Fiyatlar ve ürün bilgileri için en stabil kaynaktır.

Ham HTTP istek ve yanıtlarını depolamak için kullanılan Web ARChive dosya formatı, Common Crawl ve web arşivleri tarafından kullanılır. Ham yanıtları depolamak sayfa için iki kez ödeme yapmayı engeller.

If-None-Match veya If-Modified-Since içeren istek. Değişmemiş bir sayfa, Gövdesiz 304 Not Modified ile yanıt verir, bu da trafiği azaltır.

Aylık abonelik yerine ihtiyacınız olduğunda trafiği bir kerelik satın alma. CrawlRelay planları ön ödemeli bakiyeden yapılan tek seferlik satın almalardır.

Satın alınan gigabaytların belirli süre sonra (örneğin 31 gün veya bir ay) kaybolup kaybolmadığı. CrawlRelay konut proxy ve mobil 4G proxy trafiği asla süresi dolmaz.

1 GB = 1.000.000.000 bayt; gipabayt (GiB) ise 1.073.741.824 bayttır. Hangi birimde faturalandırma yapıldığını sorun; CrawlRelay ondalık GB cinsinden faturalandırır.

Trafik maliyeti, kullanılabilir yanıt sayısına bölünür. Sağlayıcılar arasında GB liste fiyatından daha iyi bir karşılaştırmadır.

Bir hesap altında ayrı proxy kimlik bilgileri seti; kendi trafik sınırı ve kullanım toplamına sahip, projeleri veya müşterileri izole etmek için kullanılır.

Know Your Customer: kimlik doğrulama için belgeler, selfie veya şirket evrakları ister. CrawlRelay KYC olmadan çalışır ve bunun yerine Acceptable Use Policy uygular.

Acceptable Use Policy: her hesabın uyması gereken kurallar, izin verilen kullanımlar, yasaklar ve engellenen hedefleri listeler.