快速回答
抓取1000页我需要多少 GB 代理流量？
大约 1000 个压缩后的 HTML 页为 0.05 GB，使用阻止图片的无头浏览器则约 0.5 GB，而 1000 个完全渲染的页面则约 2.2 GB，基于 HTTP Archive Web Almanac 2025 移动端中位页面大小 2,164 KB。乘以你的每 GB 价格：CrawlRelay 住宅流量从 50 GB 起价为 US$0.50/GB，且永不过期。无需 KYC。支持加密货币支付。
流量计算速览
| 计算公式 | GB = 页面数 × 每页平均压缩 KB ÷ 1,000,000 |
|---|---|
| 所有资源的中位页面大小 | 移动端为 2,164 KB，桌面端为 2,412 KB（Web Almanac 2025，2025 年 7 月抓取） |
| 中位 HTML 大小 | 首页约 22 KB；同章另一测量为 33~35 KB |
| 单位换算 | 1 GB = 10 亿字节（十进制，CrawlRelay 计费单位）；1 GiB = 1,073,741,824 字节 |
| 最大节省方法 | 抓取 HTML 或 JSON 而非渲染页面；渲染时阻止加载图片、字体和媒体。 |
| CrawlRelay 的价格 | 1 GB 价格为 US$1.50；50 GB 起价格为 US$0.50/GB |
每1000页需要多少 GB 及对应价格？
每种页面类型的典型压缩尺寸。三列成本为 GB 参考价，方便按供应商比较；CrawlRelay价为 50 GB 起 US$0.50/GB。
| 你抓取的内容 | ≈ 每页 KB | 每 1,000 页 GB | 每 GB $0.50 | 每 GB $1.00 | 每 GB $3.50 |
|---|---|---|---|---|---|
| JSON API 响应 | 10 | 0.01 | $0.005 | $0.01 | $0.035 |
| HTML 页面，压缩后 | 50 | 0.05 | $0.025 | $0.05 | $0.18 |
| 重型 HTML（大量内联脚本） | 150 | 0.15 | $0.075 | $0.15 | $0.53 |
| 无头浏览器，阻止图像、字体和媒体 | 500 | 0.5 | $0.25 | $0.50 | $1.75 |
| 完整渲染，中位数移动页面 | 2,164 | 2.16 | $1.08 | $2.16 | $7.57 |
$3.50/GB 是我们2026年10月价格指数中10 GB时的中位数挂牌价。 页面权重来自 HTTP Archive Web Almanac 2025 和典型压缩大小；请自行测量您的页面。
我如何测量自己的页面？
通过代理抓取 100 到 1,000 个真实 URL 的样本，累计传输的字节数并推算。httpx 的 num_bytes_downloaded 统计的是压缩字节，与代理计费接近。对每次请求旋转 IP 的 TLS 握手连接，另外加几 KB。
import statistics
import httpx
PROXY = "http://USERNAME-country-us:[email protected]:7777"
SAMPLE = ["https://example.com/", "https://example.org/", "https://example.net/"] # use 100+ real URLs
sizes = []
with httpx.Client(proxy=PROXY, timeout=httpx.Timeout(30.0, connect=10.0), follow_redirects=True) as client:
for url in SAMPLE:
try:
r = client.get(url)
sizes.append(r.num_bytes_downloaded)
except httpx.HTTPError:
pass
if sizes:
mean = statistics.mean(sizes)
print("pages measured:", len(sizes))
print("mean bytes per page: %.0f" % mean)
print("GB per 1,000 pages: %.3f" % (mean * 1000 / 1e9))
print("GB for 1 million pages: %.1f" % (mean * 1_000_000 / 1e9))哪个套餐适合哪个项目？
将页数转换为 GB，然后选择覆盖所需的套餐。HTML 大约 50 KB 每页：
| 项目 | 页面数 | 流量 | CrawlRelay 套餐 |
|---|---|---|---|
| 测试新目标 | 5,000 | ≈0.25 GB | 1 GB (US$1.50) |
| 小型监控，一个月 | 100,000 | ≈5 GB | 5 GB (US$3.75) 或 10 GB (US$5.94) |
| 目录爬取 | 100 万 | ≈50 GB | 50 GB (US$25) |
| 多站点语料库 | 1,000 万 | ≈500 GB | 500 GB (US$250) |
| 大型 AI 语料库 | 2,000 万 | ≈1 TB | 1 TB (US$500) |
流量永不过期，您可以一次购买更大的套餐并分几个月使用。
如何减少代理流量而不丢失数据？
- 获取数据，而不是页面。 如果网站提供或允许访问其 JSON 端点，那些流量仅为 HTML 的一小部分。
- 仅在必须时才渲染。 无头浏览器会抓取脚本、样式、图像和字体；普通 HTTP 只抓取一个文档。
- 阻止浏览器中的重资源：图像、字体和媒体占页面大部分字节。
- 保持开启压缩。 发送
Accept-Encoding: gzip, br；大部分客户端默认开启。 - **使用
If-None-Match或If-Modified-Since跳过未变页面：304会多消耗几百字节。 - 排重 URL 以避免排队重复：跟踪参数和会话 ID 会产生多个相同页面副本。
- 存储原始响应，避免解析器错误导致二次下载。
代理带宽：常见问题
用住宅代理爬取 100 万页需要多少钱？
HTML 压缩后约 50 KB 每页，100 万页约 50 GB。以 CrawlRelay 计费为 50 GB 套餐，US$25，截至 2026 年 10 月。若在浏览器中完整渲染每页，平均 2 MB，则流量约 2 TB，抓取方式对费用的影响比供应商选项高 40 倍。
代理会计算上传和下载流量吗？
代理带宽统计的是经由网关传输的连接数据；对于爬取来说，响应数据几乎占全部流量。带有大请求体的请求，如文件上传，会额外增加对应大小。在 CrawlRelay：流量使用统计包括通过代理传输的所有数据（上传和下载，含头部）。1 GB = 1,000,000,000 字节。连接尝试未能到达目标的请求不计入流量。
每个请求使用新 IP 会消耗更多流量吗？
稍微会。每个新连接都需与网站完成 TLS 握手，通常几千字节，包含证书链。对于 50 KB 的页面，占比几个百分点；对于小型 JSON 响应，可能占很大比例。IP 多样性不重要时，针对同一站点的多请求建议使用带保持连接的粘性会话。
按 GB 计价和按页面 GB 数哪个更重要？
按页面 GB 数远比按 GB 计价重要。抓取 HTML 和渲染完整页面的流量差约四十倍，而同等流量下市面价格中位数仅比最低价高两到五倍。先优化抓取方式，然后在价格表]比较供应商。
来源 (2)
- Web Almanac 2025：页面体积 — HTTP Archive (2026-01-15)
- 2026 年住宅代理价格指数 — CrawlRelay (2026-10-13)
购买您实测的流量
US$1.50 的 1 GB，US$0.50/GB 来自 50 GB，永不过期。