Risposta rapida
Quanti GB di traffico proxy servono per fare scraping di 1.000 pagine?
Circa 0,05 GB per 1.000 pagine HTML compresse, circa 0,5 GB con un browser headless che blocca le immagini, e circa 2,2 GB per 1.000 pagine completamente renderizzate, usando la mediana HTTP Archive Web Almanac 2025 di 2.164 KB per pagina mobile. Moltiplica per il prezzo per GB: CrawlRelay il traffico residenziale costa 0,50 USD/GB da 50 GB e non scade mai. Senza KYC. Paga in crypto.
Calcoli del traffico a colpo d’occhio
| Formula | GB = pagine × KB medi compressi per pagina ÷ 1.000.000 |
|---|---|
| Peso medio pagina, tutte le risorse | 2.164 KB su mobile, 2.412 KB su desktop (Web Almanac 2025, crawl luglio 2025) |
| Media HTML | 22 KB sulle pagine home; 33–35 KB in un’altra misura dello stesso capitolo |
| Unità di misura | 1 GB = 1.000.000.000 byte (decimale, l’unità in cui CrawlRelay fattura); 1 GiB = 1.073.741.824 byte |
| Risparmio maggiore | Recupera HTML o JSON invece di fare rendering; blocca immagini, font e media quando fai rendering |
| Prezzo CrawlRelay | 1,50 USD per 1 GB; 0,50 USD/GB da 50 GB |
Quanti GB e dollari per 1.000 pagine?
Dimensioni compresse tipiche per tipo di pagina. Le tre colonne di costo usano prezzi di riferimento per GB così puoi leggere qualsiasi provider; il prezzo di CrawlRelay è 0,50 USD/GB da 50 GB.
| Cosa recuperi | ≈ KB per pagina | GB per 1.000 pagine | A 0,50 $/GB | A 1,00 $/GB | A 3,50 $/GB |
|---|---|---|---|---|---|
| Risposta JSON API | 10 | 0.01 | $0.005 | $0.01 | $0.035 |
| Pagina HTML compressa | 50 | 0.05 | $0.025 | $0.05 | $0.18 |
| HTML pesante (grandi script inline) | 150 | 0.15 | $0.075 | $0.15 | $0.53 |
| Browser headless, immagini, font e media bloccati | 500 | 0.5 | $0.25 | $0.50 | $1.75 |
| Rendering completo, pagina mobile media | 2,164 | 2.16 | $1.08 | $2.16 | $7.57 |
3,50 $/GB è il prezzo medio nella lista a 10 GB nel nostro indice prezzi di ottobre 2026. Peso delle pagine da HTTP Archive Web Almanac 2025 e dimensioni tipiche compresse; misura le tue pagine.
Come posso misurare le mie pagine?
Recupera un campione da 100 a 1.000 URL reali tramite il proxy, somma i byte ricevuti in rete e fai una stima. httpx's num_bytes_downloaded conta i byte compressi, molto vicino a ciò che un proxy fattura. Aggiungi qualche kilobyte per ogni nuova connessione per il TLS handshake se cambi IP a ogni richiesta.
import statistics
import httpx
PROXY = "http://USERNAME-country-us:[email protected]:7777"
SAMPLE = ["https://example.com/", "https://example.org/", "https://example.net/"] # use 100+ real URLs
sizes = []
with httpx.Client(proxy=PROXY, timeout=httpx.Timeout(30.0, connect=10.0), follow_redirects=True) as client:
for url in SAMPLE:
try:
r = client.get(url)
sizes.append(r.num_bytes_downloaded)
except httpx.HTTPError:
pass
if sizes:
mean = statistics.mean(sizes)
print("pages measured:", len(sizes))
print("mean bytes per page: %.0f" % mean)
print("GB per 1,000 pages: %.3f" % (mean * 1000 / 1e9))
print("GB for 1 million pages: %.1f" % (mean * 1_000_000 / 1e9))Quale piano si adatta a quale progetto?
Converti il numero di pagine in gigabyte, poi scegli il piano che lo copre. Con HTML a circa 50 KB per pagina:
| Progetto | Pagine | Traffico | Piano CrawlRelay |
|---|---|---|---|
| Testare un nuovo target | 5,000 | ≈0,25 GB | 1 GB (1,50 USD) |
| Monitoraggio piccolo, un mese | 100,000 | ≈5 GB | 5 GB (3,75 USD) o 10 GB (5,94 USD) |
| Crawling cataloghi | 1 milione | ≈50 GB | 50 GB (25 USD) |
| Corpus multi-sito | 10 milioni | ≈500 GB | 500 GB (250 USD) |
| Corpus AI grande | 20 milioni | ≈1 TB | 1 TB (500 USD) |
Il traffico proxy non scade mai, quindi puoi acquistare il piano più grande una volta e usarlo per diversi mesi.
Come ridurre il traffico proxy senza perdere dati?
- Scarica i dati, non la pagina. Se un sito documenta o permette i suoi endpoint JSON, sono una frazione dell’HTML.
- Esegui il rendering solo quando necessario. Un browser headless scarica script, stili, immagini e font; HTTP semplice scarica un solo documento.
- Blocca risorse pesanti nei browser: immagini, font e media sono la maggior parte dei byte di una pagina.
- Mantieni la compressione attiva. Invia
Accept-Encoding: gzip, br; la maggior parte dei client lo fa di default. - Salta pagine non modificate con
If-None-MatchoIf-Modified-Since: un304costa qualche centinaio di byte. - Deduplica gli URL prima di metterli in coda: parametri di tracciamento e ID sessione creano copie della stessa pagina.
- Conserva le risposte raw così un bug nel parser non costringe a un secondo download.
Larghezza di banda proxy: domande
Quanto costa estrarre 1 milione di pagine con proxy residenziali?
Con HTML compresso a circa 50 KB per pagina, 1 milione di pagine usa circa 50 GB. Con CrawlRelay questo corrisponde al piano 50 GB, 25 USD, a ottobre 2026. Eseguire il rendering di ogni pagina in browser con medie di 2 MB userebbe invece circa 2 TB, quindi il metodo di fetch conta quaranta volte di più rispetto al provider.
I proxy contano il traffico di upload e download?
La larghezza di banda del proxy conta i dati che passano attraverso il gateway per le tue connessioni; per lo scraping, quasi tutte le risposte ne fanno parte. Le richieste con corpi grandi, come i caricamenti di file, aggiungono la loro dimensione. Su CrawlRelay: L’utilizzo conta tutti i dati inviati e ricevuti tramite proxy (upload e download, header inclusi). 1 GB = 1.000.000.000 byte. Tentativi di connessione falliti prima del target non sono conteggiati.
Un nuovo IP per ogni richiesta usa più traffico?
Leggermente. Ogni nuova connessione richiede un handshake TLS con il sito web, tipicamente pochi kilobyte includendo la catena del certificato. Su pagine da 50 KB questo rappresenta pochi percentuali; su piccole risposte JSON può essere una parte consistente. Usa sessioni sticky con keep-alive per molte richieste a uno stesso sito quando la diversità di IP non è importante.
È più importante il prezzo per GB o i GB per pagina?
I GB per pagina, di gran lunga. La differenza tra il recupero dell'HTML e il rendering di pagine complete è circa di quaranta volte, mentre i prezzi medi di listino sono solo da due a cinque volte più alti rispetto ai più economici per lo stesso volume. Ottimizza prima il metodo di fetch, poi confronta i provider sulla tabella dei prezzi].
Fonti (2)
- Web Almanac 2025: Peso delle pagine — HTTP Archive (2026-01-15)
- Indice prezzi proxy residenziali 2026 — CrawlRelay (2026-10-13)
Compra i gigabyte che hai misurato
1,50 USD per 1 GB, 0,50 USD/GB da 50 GB, senza mai scadenza.