Słownik proxy i web scrapingu

Proxy, którego adres IP wyjściowy należy do domowego łącza internetowego od dostawcy konsumenckiego. Strony widzą zwykłego domowego użytkownika. Zobacz proxy rezydencjalne.

Proxy, którego adres IP wyjściowy należy do sieci operatora 4G/5G. Operatorzy dzielą każdy adres IP między wielu abonentów, dlatego strony blokują je ostrożnie. Zobacz mobilne proxy 4G.

Proxy hostowane w centrum danych, z IP przypisanym do dostawcy hostingu. Szybkie i tanie, ale często blokowane przez strony odrzucające zakresy hostingowe.

Statyczny IP ogłaszany przez dostawcę internetu, ale hostowany w centrum danych. Dla niektórych baz danych wygląda jak rezydencjalne i pozostaje stałe. CrawlRelay nie sprzedaje ISP proxy.

Jeden host i port przekazujący Twoje połączenia do wielu IP wyjściowych za nim. Zmienia się wyjścia przez nazwę użytkownika lub otwierając nowe połączenia, a nie przez zmianę adresów.

Adres IP widziany przez docelową stronę. W bramie rezydencjalnej to domowe łącze dobrane do Twojego targetowania.

Carrier-grade NAT: operator sieci mobilnej lub szerokopasmowej umieszcza wielu abonentów za kilkoma adresami IP. RFC 6598 rezerwuje 100.64.0.0/10 na wspólną przestrzeń w takich sieciach.

Autonomous System Number: identyfikator sieci w internecie, jak AS7922 dla Comcast. Targetowanie ASN wybiera wyjścia u jednego dostawcy internetowego.

Skąd pochodzą rezydencjalne IP dostawcy i na jakich zasadach właściciele urządzeń dzielą pasmo. Po likwidacji IPIDEA i NetNut w 2026 roku ważne pytanie zakupowe. Zobacz źródła.

Nazwa użytkownika bez ID sesji: każde nowe połączenie dostaje IP z puli, zwykle inne. Rotacja dotyczy połączeń, nie pojedynczych żądań HTTP.

Nazwa użytkownika z ID sesji i TTL: połączenia z tym ID utrzymują ten sam IP wyjściowy przez do 30 minut, chociaż IP może się zmienić wcześniej. Zobacz sesje.

Jak długo sticky session utrzymuje ten sam IP, ustawione w minutach przez -ttl-<minutes>. Sesja może zakończyć się wcześniej, jeśli urządzenie za nią pójdzie offline.

Ponowne użycie jednego połączenia TCP dla wielu żądań HTTP. Szybciej, ale każde żądanie na tym połączeniu korzysta z jednego IP wyjściowego.

Metoda HTTP, której klient używa, by poprosić proxy o tunel do hosta i portu (RFC 9110, sekcja 9.3.6). Ruch HTTPS przechodzi wtedy end-to-end przez tunel.

Protokół proxy przekazujący połączenia TCP bez odczytu HTTP (RFC 1928), z uwierzytelnianiem przez nazwę użytkownika i hasło zgodnie z RFC 1929.

Schemat URL mówiący klientowi, by wysyłał nazwy hostów do proxy SOCKS5, dzięki czemu DNS jest rozwiązywany na wyjściu, a nie na Twoim komputerze.

Nagłówek żądania niosący poświadczenia proxy, zwykle Basic username:password w Base64. Proxy usuwa go przed przekazaniem.

Proxy odrzucił żądanie, ponieważ brakowało poświadczeń lub były nieprawidłowe. Strona internetowa nigdy nie została odwiedzona. Zobacz 407.

Strona internetowa ogranicza liczbę żądań (RFC 6585). Zwolnij i respektuj Retry-After. Zobacz 429.

Nagłówek odpowiedzi podający liczbę sekund lub datę, po której można spróbować ponownie (RFC 9110, sekcja 10.2.3). Wysyłany z odpowiedziami 429 i 503.

Liczba jednoczesnych żądań. Zgodnie z prawem Little'a jest to przepustowość razy opóźnienie. Ogranicz to na hosta docelowego. Zobacz concurrency.

Plik w katalogu głównym serwisu informujący automatyczne narzędzia, które ścieżki mogą pobierać, ustandaryzowany jako RFC 9309 w 2022. Crawlery nie powinny go cachować dłużej niż 24 godziny.

Popularna, niestandardowa linia w robots.txt określająca liczbę sekund do odczekania między żądaniami. Pythonowy urllib.robotparser odczytuje to z crawl_delay().

Nagłówek określający nazwę klienta. Odpowiedzialny crawler wysyła własną nazwę, wersję i URL kontaktowy, nigdy nazwę innego crawlra.

Rozszerzenie robots.txt Cloudflare z wartościami search, ai-input i ai-train, wprowadzone we wrześniu 2025, informujące crawlery jak można wykorzystywać zawartość.

Maszynowo czytelna rezerwacja właściciela praw przed text and data mining zgodnie z prawem UE, którą muszą respektować dostawcy ogólnego AI.

Wyzwanie sprawdzające, czy odwiedzający to człowiek. Dla crawlra to sygnał do zwolnienia lub zatrzymania; CrawlRelay nie wspiera automatycznego rozwiązywania.

Przeglądarka bez widocznego okna, sterowana kodem takimi jak Playwright czy Puppeteer. Renderuje JavaScript, ale pobiera dużo więcej danych na stronę niż klient HTTP.

Strukturalne dane osadzone w stronie jako JSON, często korzystające ze schema.org typów takich jak Product i Offer. Najstabilniejsze źródło cen i informacji o produkcie.

Format pliku Web ARChive do przechowywania surowych żądań i odpowiedzi HTTP, używany przez Common Crawl i archiwa WWW. Przechowywanie surowych odpowiedzi pozwala uniknąć podwójnych opłat za stronę.

Żądanie z If-None-Match lub If-Modified-Since. Niezmieniona strona odpowiada 304 Not Modified bez treści, co oszczędza transfer.

Zakup ruchu jednorazowo, gdy jest potrzebny, zamiast miesięcznej subskrypcji. W CrawlRelay plany to jednorazowe zakupy z salda przedpłaconego.

Czy zakupione gigabajty wygasają po określonym czasie, na przykład 31 dni lub miesiącu. CrawlRelay proxy rezydencjalne i mobilne proxy 4G nigdy nie wygasają.

1 GB = 1 000 000 000 bajtów; gibibajt (GiB) to 1 073 741 824 bajtów. Zapytaj, w jakiej jednostce rozlicza dostawca; CrawlRelay rozlicza w dziesiętnych GB.

Koszt ruchu podzielony przez liczbę użytecznych odpowiedzi. Lepsze porównanie dostawców niż cena za GB.

Oddzielny zestaw poświadczeń proxy pod jednym kontem, z własnym limitem ruchu i sumą użycia, służący do izolacji projektów lub klientów.

Know Your Customer: weryfikacja tożsamości za pomocą dokumentów, selfie lub dokumentów firmowych. CrawlRelay nie wymaga tego i bazuje na Polityce Dozwolonego Użytkowania.

Polityka Dozwolonego Użytkowania: zasady obowiązujące każde konto, określające dozwolone zastosowania, zakazane użycia i zablokowane cele.