Szybka odpowiedź
Ile GB ruchu proxy potrzeba, aby scrapować 1,000 stron?
Około 0,05 GB na 1,000 skompresowanych stron HTML, około 0,5 GB z bezgłową przeglądarką blokującą obrazy i około 2,2 GB na 1,000 w pełni renderowanych stron, według mediany 2,164 KB na stronę mobilną z HTTP Archive Web Almanac 2025. Pomnóż przez cenę za GB: CrawlRelay mobilne proxy 4G kosztują 0,50 USD/GB od 50 GB i nigdy nie wygasają. Bez KYC. Płać w kryptowalutach.
Matematyka ruchu w skrócie
| Wzór | GB = strony × średnia skompresowana KB na stronę ÷ 1,000,000 |
|---|---|
| Mediana rozmiaru strony wraz z zasobami | 2,164 KB na urządzeniach mobilnych, 2,412 KB na desktopie (Web Almanac 2025, czerwiec 2025) |
| Mediana samego HTML | 22 KB na stronach głównych; 33–35 KB według innego pomiaru tego samego rozdziału |
| Jednostki | 1 GB = 1,000,000,000 bajtów (dziesiętnie, jednostka używana przez CrawlRelay do rozliczeń); 1 GiB = 1,073,741,824 bajtów |
| Największe oszczędności | Pobieraj HTML lub JSON zamiast renderować; blokuj obrazy, fonty i multimedia podczas renderowania |
| Ceny CrawlRelay | 1,50 USD za 1 GB; 0,50 USD/GB od 50 GB |
Ile GB i złotych za 1,000 stron?
Typowe skompresowane rozmiary według typu strony. Trzy kolumny kosztów korzystają z cen referencyjnych za GB, by łatwo porównać z dowolnym dostawcą; własna cena CrawlRelay to 0,50 USD/GB od 50 GB.
| To, co pobierasz | ≈ KB na stronę | GB na 1 000 stron | Przy 0,50 USD/GB | Przy 1,00 USD/GB | Przy 3,50 USD/GB |
|---|---|---|---|---|---|
| Odpowiedź JSON API | 10 | 0.01 | $0.005 | $0.01 | $0.035 |
| Strona HTML, skompresowana | 50 | 0.05 | $0.025 | $0.05 | $0.18 |
| Ciężkie HTML (duże skrypty inline) | 150 | 0.15 | $0.075 | $0.15 | $0.53 |
| Przeglądarka headless, zablokowane obrazy, czcionki i multimedia | 500 | 0.5 | $0.25 | $0.50 | $1.75 |
| Pełne renderowanie, mediana stron mobilnych | 2,164 | 2.16 | $1.08 | $2.16 | $7.57 |
3,50 USD/GB to mediana cenowa przy 10 GB w naszym indeksie cen z października 2026. Wagi stron pochodzą z HTTP Archive Web Almanac 2025 i typowych rozmiarów po kompresji; zmierz swoje własne strony.
Jak zmierzyć własne strony?
Pobierz próbkę od 100 do 1 000 rzeczywistych adresów URL przez proxy rezydencjalne, zsumuj ilość bajtów otrzymanych z sieci i przeprowadź ekstrapolację. Narzędzie httpx num_bytes_downloaded liczy bajty po kompresji, co jest bliskie temu, co rozlicza proxy rezydencjalne. Dodaj kilka kilobajtów na każde nowe połączenie dla handshake TLS, jeśli zmieniasz IP przy każdym żądaniu.
import statistics
import httpx
PROXY = "http://USERNAME-country-us:[email protected]:7777"
SAMPLE = ["https://example.com/", "https://example.org/", "https://example.net/"] # use 100+ real URLs
sizes = []
with httpx.Client(proxy=PROXY, timeout=httpx.Timeout(30.0, connect=10.0), follow_redirects=True) as client:
for url in SAMPLE:
try:
r = client.get(url)
sizes.append(r.num_bytes_downloaded)
except httpx.HTTPError:
pass
if sizes:
mean = statistics.mean(sizes)
print("pages measured:", len(sizes))
print("mean bytes per page: %.0f" % mean)
print("GB per 1,000 pages: %.3f" % (mean * 1000 / 1e9))
print("GB for 1 million pages: %.1f" % (mean * 1_000_000 / 1e9))Który plan pasuje do jakiego projektu?
Przelicz liczbę stron na gigabajty, a następnie wybierz plan, który je pokrywa. Przy HTML około 50 KB na stronę:
| Projekt | Strony | Transfer | Plan CrawlRelay |
|---|---|---|---|
| Testuj nowy cel | 5,000 | ≈0,25 GB | 1 GB (1,50 USD) |
| Mały monitor, miesiąc | 100,000 | ≈5 GB | 5 GB (3,75 USD) lub 10 GB (5,94 USD) |
| Przegląd katalogu | 1 milion | ≈50 GB | 50 GB (25 USD) |
| Korpus wielostronny | 10 milionów | ≈500 GB | 500 GB (250 USD) |
| Duży korpus AI | 20 milionów | ≈1 TB | 1 TB (500 USD) |
Transfer nigdy nie wygasa, więc możesz kupić większy plan raz i używać go przez kilka miesięcy.
Jak ograniczyć transfer proxy bez utraty danych?
- Pobieraj dane, nie stronę. Jeśli strona dokumentuje lub udostępnia swoje endpointy JSON, to są one ułamkiem objętości HTML.
- Renderuj tylko wtedy, gdy musisz. Przeglądarka headless pobiera skrypty, style, obrazy i czcionki; zwykły HTTP pobiera jeden dokument.
- Blokuj ciężkie zasoby w przeglądarkach: obrazy, czcionki i multimedia to większość bajtów strony.
- Utrzymuj kompresję. Wysyłaj
Accept-Encoding: gzip, br; większość klientów robi to domyślnie. - Pomijaj niezmienione strony za pomocą
If-None-MatchlubIf-Modified-Since:304kosztuje kilkaset bajtów. - Usuń duplikaty URL przed dodaniem do kolejki: parametry śledzenia i identyfikatory sesji tworzą kopie tych samych stron.
- Przechowuj surowe odpowiedzi, aby błąd parsera nie wymuszał ponownego pobrania.
Pytania o transfer proxy
Ile kosztuje scraping 1 miliona stron mobilnymi proxy 4G?
Przy skompresowanym HTML około 50 KB na stronę, 1 milion stron to około 50 GB. Przy CrawlRelay to plan 50 GB, 25 USD, stan na październik 2026. Renderowanie każdej strony w przeglądarce przy medianie 2 MB zużyłoby zamiast tego około 2 TB, więc metoda pobierania jest czterdzieści razy ważniejsza niż dostawca.
Czy proxy liczą ruch wysyłany i pobierany?
Przepustowość proxy rezydencjalnych liczy dane przechodzące przez bramę dla Twoich połączeń; przy scrapingu to niemal wszystkie odpowiedzi. Żądania z dużą zawartością, takie jak przesyłanie plików, dodają swój własny rozmiar. Na CrawlRelay: Zużycie liczy całe dane wysłane i odebrane przez proxy (upload i download, nagłówki wliczone). 1 GB = 1 000 000 000 bajtów. Nieudane próby połączeń bez dotarcia do celu nie są liczone.
Czy nowy IP na każde żądanie zużywa więcej transferu?
Nieznacznie. Każde nowe połączenie wymaga wymiany handshake TLS z witryną, zwykle kilku kilobajtów łącznie z łańcuchem certyfikatów. Na stronach o wielkości 50 KB to kilka procent; przy małych odpowiedziach JSON może to być duży udział. Używaj sticky sessions z keep-alive przy wielu żądaniach do jednej strony, gdy różnorodność IP nie jest istotna.
Co jest ważniejsze: cena za GB czy GB na stronę?
Zdecydowanie GB na stronę. Różnica między pobraniem HTML a renderowaniem pełnych stron to około czterdziestokrotność, podczas gdy średnie ceny to tylko 2-5 razy więcej niż najtańsze oferty przy tym samym wolumenie. Najpierw zoptymalizuj metodę pobierania, potem porównuj dostawców w tabeli cen].
Źródła (2)
- Web Almanac 2025: Waga strony — HTTP Archive (2026-01-15)
- Indeks cen proxy rezydencjalnych 2026 — CrawlRelay (2026-10-13)
Kup gigabajty, które zmierzyłeś
1,50 USD za 1 GB, 0,50 USD/GB z 50 GB, bezterminowo.