전자상거래 가격 모니터링용 레지덴셜 프록시

프록시가 내가 보는 가격을 바꾸는 이유는?

쇼핑몰이 방문자의 위치에 따라 표시 내용을 맞춤 설정하기 때문입니다. IP 주소는 국가판, 통화, 부가세 포함 여부, 어떤 마켓플레이스 판매자가 표시되는지, 배송 옵션 및 비용을 결정합니다. 일부 소매상은 지역별 프로모션이나 창고별 재고 수준도 운영합니다.

하나의 국가 서버에서 실행되는 가격 모니터는 시장의 한 버전만 보게 됩니다. 각 시장의 레지덴셜 프록시는 현지 고객이 보는 버전을 보여주며, 이는 가격 결정과 리셀러가 최소 광고 가격을 지키는지 확인하는 데 중요한 숫자입니다.

가격을 안정적으로 추출하려면 어떻게 해야 하나요?

CSS 선택자를 쓰기 전에 구조화된 데이터를 읽으세요. 많은 제품 페이지가 JSON-LD 형식 Product 데이터를 내장하며 Offer에 가격, 통화, 재고 상태가 안정적으로 포함되어 있습니다; 디자인 변경 시 선택자는 쉽게 깨질 수 있습니다. 구조화된 데이터가 없는 페이지에서만 선택자로 대체하세요.

import json
import re

import requests

GATEWAY = "gw.crawlrelay.com:7777"
LD_JSON = re.compile(r'<script[^>]+type="application/ld\+json"[^>]*>(.*?)</script>', re.S | re.I)


def offers(html):
    """Yield (price, currency, availability) from schema.org Product data in a page."""
    for block in LD_JSON.findall(html):
        try:
            data = json.loads(block)
        except ValueError:
            continue
        for item in data if isinstance(data, list) else [data]:
            if not isinstance(item, dict) or item.get("@type") != "Product":
                continue
            offer = item.get("offers") or {}
            for o in offer if isinstance(offer, list) else [offer]:
                if isinstance(o, dict):
                    yield o.get("price") or o.get("lowPrice"), o.get("priceCurrency"), o.get("availability")


def check(url, country):
    proxy = "http://USERNAME-country-%s:PASSWORD@%s" % (country, GATEWAY)
    r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=(10, 30))
    return r.status_code, list(offers(r.text))


for cc in ("us", "gb", "de"):
    print(cc, check("https://www.example.com/product/123", cc))

가격 모니터링은 얼마나 많은 트래픽을 사용할까요?

제품 페이지 수, 마켓 수, 검사를 계산한 뒤 페이지 용량을 곱하세요. 압축된 HTML 제품 페이지당 약 60 KB 기준:

가격 확인에 있어서 회전 세션과 스티키 세션 중 어느 것을 써야 하나요?

제품 간에 회전하되 한 흐름 내에서는 스티키하게 유지하세요. 제품 페이지는 독립적이므로 각 페이지는 대상 국가의 새 출구를 통해 나갈 수 있습니다. 우편번호, 장바구니 총액, 페이지네이션 검색 목록 등 배송 예상 정보는 여러 요청으로 이루어지고 상점은 이를 한 방문자로부터 받길 기대합니다. 이 흐름에는 몇 분간 유효한 세션 ID 하나를 부여한 뒤 종료하세요.

가격을 얼마나 자주 확인해야 하나요?

가격이 실제로 변하는 만큼만 확인하세요. 대부분 카탈로그는 일일 확인으로 충분하며, 마켓플레이스, 여행 요금, 플래시 세일 같은 경우 주요 제품 소수에 대해 시간 단위로 확인하는 것이 적합합니다. 비용과 부하를 줄이는 세 가지 습관:

• 변동이 있는 것만 재확인하세요. 제품별 변동률을 추적해 안정적인 것은 속도를 늦추세요.
• 다운로드 전에 물어보세요. If-None-Match 또는 If-Modified-Since를 보내세요; 304 Not Modified는 수백 바이트를 소모합니다.
• 작업을 분산하세요. 자정에 한 번에 몰아서 하지 말고 사이트별로 하루 동안 분산해서 실행하세요.

경쟁사 가격 모니터링 시 지켜야 할 규칙은 무엇인가요?

공개된 가격은 누구나 볼 수 있는 사실이지만 수집 방법도 중요합니다. 각 사이트의 robots.txt와 약관을 준수하고 예의 바른 요청 속도를 유지하세요. 계정 로그인 금지, 주문 또는 재고 예약을 통한 가격 조회 금지. 제한된 재고나 티켓 구매를 위한 모니터링 절대 금지. CrawlRelay의 Acceptable Use Policy를 준수하며, 웹 스크래핑 법률 개요](/guides/is-web-scraping-legal/)도 참고하세요. 이는 법률 자문이 아님을 유의하세요.