クイックアンサー
1,000ページをスクレイピングするのに必要なプロキシトラフィック量は？
圧縮済みHTML1,000ページで約0.05 GB、画像をブロックするヘッドレスブラウザ使用で約0.5 GB、完全レンダリングしたページ1,000枚で約2.2 GBです。データはHTTP Archive Web Almanac 2025のモバイルページ中央値2,164 KBを使用。価格に掛けてください：CrawlRelayのレジデンシャルトラフィックは$0.50/GBから50 GB以上で提供、期限なし。KYC不要。暗号資産で支払い可能。
トラフィック計算の概要
| 計算式 | GB = ページ数 × ページあたり平均圧縮KB ÷ 1,000,000 |
|---|---|
| 全リソースの中央値 | モバイルは2,164 KB、デスクトップは2,412 KB (Web Almanac 2025年7月クロール) |
| HTML単体中央値 | ホームページで22 KB、同章内別計測では33〜35 KB |
| 単位 | 1 GB = 10億バイト（CrawlRelayが課金する単位）；1 GiB = 10億7374万1824バイト |
| 最大の節約ポイント | レンダリングよりHTMLやJSONを取得し、レンダリング時は画像・フォント・メディアをブロックすること |
| CrawlRelayの価格 | 1 GBあたり$1.50；50 GB以上は$0.50/GB |
1,000ページあたりのGB数とドル単価
典型的なページ種類別圧縮サイズ。3つのコスト列はGB単価の参考価格を用い、どのプロバイダでも読み取れるようにしています。CrawlRelayの価格は$0.50/GB、50 GBから適用。
| 取得するもの | ページあたり約KB | 1,000ページあたりのGB | $0.50/GBの場合 | $1.00/GBの場合 | $3.50/GBの場合 |
|---|---|---|---|---|---|
| JSON APIレスポンス | 10 | 0.01 | $0.005 | $0.01 | $0.035 |
| HTMLページ（圧縮済み） | 50 | 0.05 | $0.025 | $0.05 | $0.18 |
| 重いHTML（大きなインラインスクリプト） | 150 | 0.15 | $0.075 | $0.15 | $0.53 |
| ヘッドレスブラウザ（画像、フォント、メディアはブロック） | 500 | 0.5 | $0.25 | $0.50 | $1.75 |
| 完全レンダリング、中央値のモバイルページ | 2,164 | 2.16 | $1.08 | $2.16 | $7.57 |
$3.50/GBは当社の2026年10月価格指数で10 GB時点の中央値リスト価格です。ページの重さはHTTP Archive Web Almanac 2025と典型的な圧縮サイズから算出。ご自身のページも測定してください。
自分のページはどう測定する？
プロキシ経由で100～1,000の実際のURLを取得し、回線で受信したバイト数を合計して推定します。httpxのnum_bytes_downloadedは圧縮バイト数をカウントしており、これはプロキシの請求に近いです。IPを毎回切り替える場合はTLSハンドシェイクで接続ごとに数キロバイト足してください。
import statistics
import httpx
PROXY = "http://USERNAME-country-us:[email protected]:7777"
SAMPLE = ["https://example.com/", "https://example.org/", "https://example.net/"] # use 100+ real URLs
sizes = []
with httpx.Client(proxy=PROXY, timeout=httpx.Timeout(30.0, connect=10.0), follow_redirects=True) as client:
for url in SAMPLE:
try:
r = client.get(url)
sizes.append(r.num_bytes_downloaded)
except httpx.HTTPError:
pass
if sizes:
mean = statistics.mean(sizes)
print("pages measured:", len(sizes))
print("mean bytes per page: %.0f" % mean)
print("GB per 1,000 pages: %.3f" % (mean * 1000 / 1e9))
print("GB for 1 million pages: %.1f" % (mean * 1_000_000 / 1e9))どのプランがどのプロジェクトに合う？
ページ数をギガバイトに換算し、それをカバーするプランを選びます。HTMLがページあたり約50 KBの場合：
| プロジェクト | ページ数 | トラフィック | CrawlRelayプラン |
|---|---|---|---|
| 新しいターゲットをテストする | 5,000 | 約0.25 GB | 1 GB ($1.50) |
| 小規模モニター、1か月 | 100,000 | 約5 GB | 5 GB（$3.75）または10 GB（$5.94） |
| カタログクローリング | 100万 | 約50 GB | 50 GB ($25) |
| 複数サイトのコーパス | 1,000万 | 約500 GB | 500 GB ($250) |
| 大規模AIコーパス | 2,000万 | 約1 TB | 1 TB ($500) |
トラフィックは期限切れにならないので、大きいプランを一度購入して数か月にわたり使えます。
トラフィックを減らしてデータを損なわないには？
- ページではなくデータだけを取得。 サイトがJSONエンドポイントを公開・許可していればHTMLの一部にすぎません。
- 必要なときだけレンダリング。 ヘッドレスブラウザはスクリプト、スタイル、画像、フォントを取得します。通常のHTTPならドキュメント1つです。
- ブラウザで重いリソースをブロック。 画像、フォント、メディアはページの大部分のバイト数を占めます。
- 圧縮は必ず有効に。
Accept-Encoding: gzip, brを送信してください。ほとんどのクライアントはデフォルトで圧縮します。 - 変更のないページは
If-None-MatchまたはIf-Modified-Sinceでスキップ。304は数百バイトかかります。 - URLの重複排除はキューに入れる前に。トラッキングパラメーターやセッションIDで同じページのコピーが増えます。
- 生データレスポンスを保存。 パーサーのバグで再取得を強いられません。
プロキシ帯域幅に関する質問
レジデンシャルプロキシで100万ページのスクレイピングにかかる費用は？
圧縮HTMLでページあたり約50 KBの場合、100万ページで約50 GBです。CrawlRelayなら2026年10月時点の50 GBプラン$25に該当します。全ページをブラウザでレンダリングして中央値2 MBなら約2 TB消費するため、取得方法はプロバイダより40倍重要です。
プロキシはアップロードとダウンロードのトラフィックをカウントしますか？
プロキシの帯域幅は接続のゲートウェイを通過するデータをカウントします。スクレイピングでは、レスポンスがほとんどを占めます。ファイルアップロードのようなリクエスト本文が大きい場合は、そのサイズも加算されます。詳細はCrawlRelay：利用量はプロキシ経由の送受信データ全量（アップロード・ダウンロード、ヘッダ含む）。1 GB = 1,000,000,000バイト。ターゲット到達前に失敗した接続試行はカウントしません。。
リクエストごとに新しいIPを使うとトラフィックが多くなりますか？
わずかに増えます。各新しい接続はウェブサイトとTLSハンドシェイクが必要で、通常は証明書チェーンを含め数キロバイトです。50KBのページなら数パーセントの増加ですが、小さなJSONレスポンスだと大きな割合になることもあります。IPの多様性が不要な場合は、同じサイトへの多数リクエストに対してはキープアライブのスティッキーセッションを使うのがおすすめです。
価格はGB単価とページあたりのGBどちらが重要ですか？
圧倒的にページあたりのGBです。HTML取得と完全ページレンダリングの差は約40倍ですが、主要なリスト価格は同じ量で最安値の2〜5倍です。まず取得方法を最適化し、その後価格表でプロバイダーを比較しましょう。
情報源 (2)
- Web Almanac 2025：ページ重量 — HTTP Archive (2026-01-15)
- 2026年レジデンシャルプロキシ価格指数 — CrawlRelay (2026-10-13)
測定したギガバイトを購入
$1.50で1 GB、$0.50/GBからの50 GB、期限なし。