価格監視用レジデンシャルプロキシ

なぜプロキシを使うと見える価格が変わるのか？

ショップは訪問者の居場所に応じて表示内容をカスタマイズします。IPアドレスで国の版、通貨、税込み価格かどうか、市場の販売者、配送オプションと料金が決まります。店舗によっては地域別プロモーションや倉庫ごとの在庫もあります。

1台のサーバーからの価格監視は市場の1バージョンしか見えません。各市場のレジデンシャル出口は現地顧客が見る価格を示し、価格設定や最小広告価格の遵守確認に重要です。

価格を確実に抽出するには？

CSSセレクターを書く前に、構造化データを確認してください。多くの商品ページはschema.orgのProductデータをJSON-LD形式のOfferに埋め込んでおり、価格・通貨・在庫状況を安定して取得できます。リニューアルごとにセレクターは壊れがちなので、構造化データがない場合だけセレクターに頼ってください。

import json
import re

import requests

GATEWAY = "gw.crawlrelay.com:7777"
LD_JSON = re.compile(r'<script[^>]+type="application/ld\+json"[^>]*>(.*?)</script>', re.S | re.I)


def offers(html):
    """Yield (price, currency, availability) from schema.org Product data in a page."""
    for block in LD_JSON.findall(html):
        try:
            data = json.loads(block)
        except ValueError:
            continue
        for item in data if isinstance(data, list) else [data]:
            if not isinstance(item, dict) or item.get("@type") != "Product":
                continue
            offer = item.get("offers") or {}
            for o in offer if isinstance(offer, list) else [offer]:
                if isinstance(o, dict):
                    yield o.get("price") or o.get("lowPrice"), o.get("priceCurrency"), o.get("availability")


def check(url, country):
    proxy = "http://USERNAME-country-%s:PASSWORD@%s" % (country, GATEWAY)
    r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=(10, 30))
    return r.status_code, list(offers(r.text))


for cc in ("us", "gb", "de"):
    print(cc, check("https://www.example.com/product/123", cc))

価格監視はどれくらいのトラフィックを使いますか？

商品ページ数、市場数、チェック数を数え、それにページの重さを掛けます。圧縮済みHTML商品ページで約60 KBの場合：

価格チェックにローテーションセッションとスティッキーセッション、どちらを使うべき？

製品間でローテーションしつつ、フロー内ではスティッキーに保ちます。商品ページは独立しているため、それぞれがターゲット国の新しい出口を使えます。郵便番号、カート合計、ページ分割された検索リストが必要な配送見積もりは複数リクエストに渡り、店側は同一訪問者からのものを期待します：このフローにはTTL数分のセッションIDを1つ付与し、その後破棄してください。

価格はどのくらいの頻度でチェックすべき？

価格の変動が本当にある頻度に合わせ、それ以上は不要です。ほとんどのカタログには日次チェックが適し、マーケットプレイス、旅行運賃、キー製品のフラッシュセールでは時間単位のチェックが向いています。コストと負荷を削減する3つの習慣：

• 動くものだけ再チェック。 製品ごとの変動率を追跡し、安定しているものは頻度を落とす。
• ダウンロード前に確認。 If-None-MatchかIf-Modified-Sinceを送信。304 Not Modifiedは数百バイト掛かります。
• 作業を分散。 チェックはサイトごとに日中に分散実施し、深夜の一斉チェックは避ける。

競合他社の価格を監視するルールは？

公開価格は誰でも見られる事実ですが、収集方法は重要です。各サイトのrobots.txtと利用規約を尊重し、礼儀正しいリクエスト頻度を保ち、アカウントへのログインはせず、価格を得るために注文や在庫確保は行わないでください。在庫やチケットを買い占めるために監視を使うのは厳禁です。CrawlRelayのAcceptable Use Policyが適用され、ウェブスクレイピング法律の概要で広い視点を解説しています。これは法的助言ではありません。