快速回答
电商价格监控应使用哪些代理?
使用针对每个报价国家或城市的轮换住宅代理,确保看到本地消费者视角的货币、税费、库存和交付条款。CrawlRelay 住宅代理每GB费用为 US$1.50,50 GB起价 US$0.50/GB,截至2026年10月;三国每天检查10,000产品约需54 GB流量。支持加密货币支付,无需KYC。
价格监控简介
| 地区变化内容 | 货币、显示税费、地区价格、库存、卖家、配送费及时效 |
|---|---|
| 定位方式 | 所有套餐都支持国家和城市定位;美国还支持州和邮编定位;ASN 定位不额外收费。城市可用性有所不同 |
| 会话模式 | 商品页轮换;多页流程(如交付估算)使用粘滞会话 |
| 最省流量的提取方式 | 页面HTML中schema.org产品数据(JSON-LD格式) |
| 典型成本 | 每个HTML商品页约60 KB;按日检查,每产品每月约1.8 MB |
| 价格 | US$0.50/GB 从 50 GB 起;流量永不过期 |
为什么代理会改变我看到的价格?
因为店铺根据访问者定位调整展示内容。IP地址决定国家版、货币、是否含税、出现哪些卖家、配送选项及费用。一些零售商还会分地区促销或按仓库管理库存。
单服务器在一国运行的价格监控只能见到市场单一版本。各市场的住宅出口展示本地客户视角,这才是定价决策和验证转售商最低广告价的关键数据。
如何可靠地提取价格?
优先读取结构化数据,再使用CSS选择器。许多商品页嵌入schema.org Product 数据,含JSON-LD格式的Offer,以稳定格式承载价格、货币与库存信息;页面改版后选择器易失效。若无结构化数据,再退回使用选择器。
import json
import re
import requests
GATEWAY = "gw.crawlrelay.com:7777"
LD_JSON = re.compile(r'<script[^>]+type="application/ld\+json"[^>]*>(.*?)</script>', re.S | re.I)
def offers(html):
"""Yield (price, currency, availability) from schema.org Product data in a page."""
for block in LD_JSON.findall(html):
try:
data = json.loads(block)
except ValueError:
continue
for item in data if isinstance(data, list) else [data]:
if not isinstance(item, dict) or item.get("@type") != "Product":
continue
offer = item.get("offers") or {}
for o in offer if isinstance(offer, list) else [offer]:
if isinstance(o, dict):
yield o.get("price") or o.get("lowPrice"), o.get("priceCurrency"), o.get("availability")
def check(url, country):
proxy = "http://USERNAME-country-%s:PASSWORD@%s" % (country, GATEWAY)
r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=(10, 30))
return r.status_code, list(offers(r.text))
for cc in ("us", "gb", "de"):
print(cc, check("https://www.example.com/product/123", cc))价格监控耗费多少流量?
计算产品页面、市场和检查次数,然后乘以页面大小。每个压缩后的 HTML 产品页面约 60 KB:
| 产品 × 市场 | 检查次数 | 每月页面数 | 每月流量 |
|---|---|---|---|
| 1,000 × 1 | 每日 | 30,000 | ≈1.8 GB |
| 10,000 × 3 | 每日 | 900,000 | ≈54 GB |
| 10,000 × 3 | 每小时监测 500 个关键产品 | 900,000 + 1,080,000 | ≈119 GB |
| 100,000 × 5 | 每周 | ≈210 万次 | ≈130 GB |
在 CrawlRelay,流量永不过期,因此一个 100 GB 计划(US$50)可以覆盖 54 GB 的流量并支撑接下来大部分时间。用浏览器渲染页面的流量成本大约是普通请求的四十倍:仅渲染需要 JavaScript 的商店页面。
价格监控用旋转还是固定会话?
在不同产品间轮换,但在一个流程内保持固定会话。产品页面是独立的,所以每个页面都可以通过目标国家的新出口访问。需要邮编、购物车总额或者分页搜索列表的送货估算涉及多次请求,商店期望它们来自同一访问者:给该流程一个带几分钟生存时间的会话 ID,之后丢弃。
多久检查一次价格合适?
频率应与价格变动保持一致,不要过频。多数目录适合每日检查;对市场、旅行票价和限时促销则适合每小时检查少量关键产品。节省成本与压力的三大习惯:
- 重新检查有变动的。跟踪每个产品的变化率,减少对稳定产品的检查频率。
- 先询问再下载。发送
If-None-Match或If-Modified-Since;发送304 Not Modified要耗费几百字节。 - 分散检查时间。将检查分布在白天,而非午夜突发集中。
监控竞争对手价格有哪些规则?
公开价格一般是任何人都能查看的事实,但收集方式仍需注意。尊重网站的 robots.txt 和使用条款,保持礼貌的请求频率,不登录账号,不通过下单或预订库存来获取价格。切勿利用监控购买有限库存或门票。CrawlRelay 的可接受使用政策适用,我们的网络爬取法律概览涵盖相关法律问题。这非法律建议。
价格监控代理常见问题
能在特定城市监控价格吗?
可以。在用户名中添加 -city-<name>,美国地区可加 -state- 或 -zip-;-asn- 可指定互联网服务提供商。城市级定位对运费、本地库存和当天优惠非常重要,不同城市可用性不同。仅在数据随地点变化时使用较细级别定位,因为更细粒度会减少可用出口数量。
什么是 MAP 监控,代理有帮助吗?
最低广告价(MAP)监控用于检测经销商是否以低于品牌商定价格销售。经销商可能按国家或地区显示不同价格,因此品牌商通过每个市场的住宅代理出口进行监控,保留每次记录的日期和证据。
1 GB 流量能监控多少产品?
约可检查 16,000 个 HTML 产品页面(每页约 60 KB),例如每天检测 500 个产品,一月共计。页面中含大量内联脚本时体积更大;建议采样 100 个真实页面,除以其平均压缩大小后再用 1 GB 除以该值来估算。
价格监控应使用移动代理吗?
仅适用于那些在移动应用或移动网页显示不同价格或库存的商店。CrawlRelay 的移动流量 1 GB 收费为 US$3.18,5 GB 起为 US$1.50/GB,而住宅代理 1 GB 收费为 US$1.50,50 GB 起为 US$0.50/GB,因此建议先测试 1 GB 移动套餐。
按市场分开监控价格
US$0.50/GB 来自 50 GB,流量永不过期。