Réponse rapide
Combien de GB de trafic proxy pour scraper 1 000 pages ?
Environ 0,05 GB pour 1 000 pages HTML compressées, environ 0,5 GB avec un navigateur headless qui bloque les images, et environ 2,2 GB pour 1 000 pages complètement rendues, selon la médiane 2025 du Web Almanac HTTP Archive de 2 164 KB par page mobile. Multipliez par votre prix par GB : CrawlRelay trafic résidentiel coûte 0,50 $US/GB à partir de 50 GB et n’expire jamais. Sans KYC. Payer en crypto.
Calcul du trafic en un coup d’œil
| Formule | GB = pages × moyenne KB compressés par page ÷ 1 000 000 |
|---|---|
| Poids médian page, toutes ressources confondues | 2 164 KB sur mobile, 2 412 KB sur desktop (Web Almanac 2025, crawl juillet 2025) |
| HTML médian | 22 KB sur pages d’accueil ; 33–35 KB selon une autre mesure du même chapitre |
| Unités | 1 GB = 1 000 000 000 octets (décimal, l’unité avec laquelle CrawlRelay facture) ; 1 GiB = 1 073 741 824 octets |
| Plus grosse économie | Récupérez HTML ou JSON plutôt que du rendu ; bloquez images, polices et médias lors du rendu |
| Prix CrawlRelay | 1,50 $US pour 1 GB ; 0,50 $US/GB à partir de 50 GB |
Combien de GB et d’euros par 1 000 pages ?
Tailles compressées typiques par type de page. Les trois colonnes de coût utilisent des prix de référence par GB pour que vous puissiez lire les tarifs de n’importe quel fournisseur ; le prix propre de CrawlRelay est 0,50 $US/GB à partir de 50 GB.
| Ce que vous récupérez | ≈ KB par page | GB pour 1 000 pages | À 0,50 $/GB | À 1,00 $/GB | À 3,50 $/GB |
|---|---|---|---|---|---|
| Réponse JSON API | 10 | 0.01 | $0.005 | $0.01 | $0.035 |
| Page HTML, compressée | 50 | 0.05 | $0.025 | $0.05 | $0.18 |
| HTML lourd (scripts en ligne volumineux) | 150 | 0.15 | $0.075 | $0.15 | $0.53 |
| Navigateur headless, images, polices et média bloqués | 500 | 0.5 | $0.25 | $0.50 | $1.75 |
| Rendu complet, page mobile médiane | 2,164 | 2.16 | $1.08 | $2.16 | $7.57 |
3,50 $/GB est le prix médian à 10 GB dans notre indice des prix d'octobre 2026. Poids des pages provenant du HTTP Archive Web Almanac 2025 et tailles compressées typiques ; mesurez vos propres pages.
Comment mesurer mes propres pages ?
Récupérez un échantillon de 100 à 1 000 URL réelles via le proxy, additionnez les octets reçus, puis extrapolez. httpx's num_bytes_downloaded compte les octets compressés, proches de ce qu'un proxy facture. Ajoutez quelques kilo-octets par nouvelle connexion pour la négociation TLS si vous changez d'IP à chaque requête.
import statistics
import httpx
PROXY = "http://USERNAME-country-us:[email protected]:7777"
SAMPLE = ["https://example.com/", "https://example.org/", "https://example.net/"] # use 100+ real URLs
sizes = []
with httpx.Client(proxy=PROXY, timeout=httpx.Timeout(30.0, connect=10.0), follow_redirects=True) as client:
for url in SAMPLE:
try:
r = client.get(url)
sizes.append(r.num_bytes_downloaded)
except httpx.HTTPError:
pass
if sizes:
mean = statistics.mean(sizes)
print("pages measured:", len(sizes))
print("mean bytes per page: %.0f" % mean)
print("GB per 1,000 pages: %.3f" % (mean * 1000 / 1e9))
print("GB for 1 million pages: %.1f" % (mean * 1_000_000 / 1e9))Quel forfait correspond à quel projet ?
Transformez votre nombre de pages en gigaoctets, puis choisissez le forfait adapté. Avec du HTML à environ 50 KB par page :
| Projet | Pages | Trafic | Forfait CrawlRelay |
|---|---|---|---|
| Test d’une nouvelle cible | 5,000 | ≈0,25 GB | 1 GB (1,50 $US) |
| Petit monitorage, un mois | 100,000 | ≈5 GB | 5 GB (3,75 $US) ou 10 GB (5,94 $US) |
| Analyse de catalogue | 1 million | ≈50 GB | 50 GB (25 $US) |
| Corpus multi-site | 10 millions | ≈500 GB | 500 GB (250 $US) |
| Grand corpus IA | 20 millions | ≈1 TB | 1 TB (500 $US) |
Le trafic ne expire jamais, vous pouvez donc acheter le forfait plus important une fois et l’utiliser sur plusieurs mois.
Comment réduire le trafic proxy sans perdre de données ?
- Récupérez les données, pas la page. Si un site documente ou autorise ses endpoints JSON, ils sont une fraction de l’HTML.
- Rendez uniquement quand c’est nécessaire. Un navigateur headless charge scripts, styles, images et polices ; HTTP simple ne récupère qu’un document.
- Bloquez les ressources lourdes dans les navigateurs : images, polices et médias représentent la majeure partie des octets d’une page.
- Gardez la compression activée. Envoyez
Accept-Encoding: gzip, br; la plupart des clients le font par défaut. - Ignorez les pages inchangées avec
If-None-MatchouIf-Modified-Since: un304coûte quelques centaines d’octets. - Dédupliquez les URLs avant de les mettre en file d’attente : les paramètres de tracking et identifiants de session créent des copies de la même page.
- Stockez les réponses brutes pour qu’un bug du parseur n’entraîne jamais un second téléchargement.
Bande passante proxy : questions
Combien coûte le scraping de 1 million de pages avec des proxies résidentiels ?
Avec du HTML compressé à environ 50 KB la page, 1 million de pages consomment environ 50 GB. Avec CrawlRelay, c’est le forfait 50 GB, 25 $US, en date d’octobre 2026. Rendre chaque page dans un navigateur avec un poids médian de 2 MB utiliserait environ 2 TB, donc la méthode de récupération compte quarante fois plus que le fournisseur.
Les proxies comptent-ils le trafic montant et descendant ?
La bande passante proxy compte les données qui passent par la passerelle pour vos connexions ; pour le scraping, les réponses représentent presque tout le trafic. Les requêtes avec de gros corps, comme les téléversements de fichiers, ajoutent leur propre taille. À CrawlRelay : Usage comptabilise toutes les données envoyées et reçues via le proxy (upload et download, headers inclus). 1 GB = 1 000 000 000 octets. Les tentatives de connexion échouées avant d’atteindre la cible ne sont pas comptées.
Un nouvel IP par requête consomme-t-il plus de trafic ?
Légèrement. Chaque nouvelle connexion nécessite une poignée de main TLS avec le site web, généralement quelques kilo-octets incluant la chaîne de certificats. Sur des pages de 50 KB, cela représente quelques pourcents ; sur de petites réponses JSON, cela peut être une part importante. Utilisez des sessions persistantes avec keep-alive pour de nombreuses requêtes vers un site lorsque la diversité d'IP n'a pas d'importance.
Le prix par GB ou le GB par page est-il le plus important ?
Le GB par page, de loin. L’écart entre la récupération du HTML et le rendu complet des pages est d’environ quarante fois, alors que les prix médians listés ne sont que deux à cinq fois plus chers que les plus abordables au même volume. Optimisez d’abord la méthode de récupération, puis comparez les fournisseurs sur le tableau des prix].
Sources (2)
- Web Almanac 2025 : Poids des pages — HTTP Archive (2026-01-15)
- Indice des prix des proxy résidentiels 2026 — CrawlRelay (2026-10-13)
Achetez les gigaoctets que vous avez mesurés
1,50 $US pour 1 GB, 0,50 $US/GB depuis 50 GB, sans expiration.