Proxy rezydencjalne do monitorowania cen e-commerce

Dlaczego proxy zmienia cenę, którą widzę?

Bo sklepy dostosowują to, co pokazują, do lokalizacji rzekomego odwiedzającego. Adres IP decyduje o wersji kraju, walucie, czy ceny zawierają VAT, którzy sprzedawcy rynku się pojawiają oraz o opcjach i opłatach dostawy. Niektórzy sprzedawcy prowadzą też promocje regionalne lub zarządzają stanami magazynowymi według magazynów.

Monitor cen z jednego serwera w jednym kraju widzi tylko jedną wersję rynku. Wyjścia residential w każdym rynku pokazują to, co widzą lokalni klienci, co jest kluczowe dla decyzji cenowych i sprawdzania, czy resellerzy przestrzegają minimalnych cen katalogowych.

Jak wiarygodnie wyciągać ceny?

Najpierw przeczytaj dane strukturalne, zanim zaczniesz pisać selektory CSS. Wiele stron produktowych osadza dane schema.org Product z Offer w JSON-LD, które zawierają cenę, walutę i dostępność w stabilnym formacie; selektory psują się przy każdej przebudowie strony. Używaj selektorów tylko tam, gdzie brakuje danych strukturalnych.

import json
import re

import requests

GATEWAY = "gw.crawlrelay.com:7777"
LD_JSON = re.compile(r'<script[^>]+type="application/ld\+json"[^>]*>(.*?)</script>', re.S | re.I)


def offers(html):
    """Yield (price, currency, availability) from schema.org Product data in a page."""
    for block in LD_JSON.findall(html):
        try:
            data = json.loads(block)
        except ValueError:
            continue
        for item in data if isinstance(data, list) else [data]:
            if not isinstance(item, dict) or item.get("@type") != "Product":
                continue
            offer = item.get("offers") or {}
            for o in offer if isinstance(offer, list) else [offer]:
                if isinstance(o, dict):
                    yield o.get("price") or o.get("lowPrice"), o.get("priceCurrency"), o.get("availability")


def check(url, country):
    proxy = "http://USERNAME-country-%s:PASSWORD@%s" % (country, GATEWAY)
    r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=(10, 30))
    return r.status_code, list(offers(r.text))


for cc in ("us", "gb", "de"):
    print(cc, check("https://www.example.com/product/123", cc))

Ile ruchu wykorzystuje monitorowanie cen?

Policz strony produktów, rynki i kontrole, następnie pomnóż przez wagę strony. Przy około 60 KB na skompresowaną HTML-ową stronę produktu:

Sesje rotacyjne czy stałe do kontroli cen?

Rotuj między produktami i zachowuj sesję w obrębie jednego procesu. Strony produktów są niezależne, więc każda może wychodzić przez nowy exit w danym kraju docelowym. Szacowanie dostawy wymagające kodu pocztowego, wartości koszyka czy paginowanego wyszukiwania obejmuje kilka żądań i sklep oczekuje, że pochodzą od jednego odwiedzającego: daj temu procesowi jeden identyfikator sesji (TTL na kilka minut), potem go odrzuć.

Jak często powinienem sprawdzać ceny?

Tak często, jak ceny się naprawdę zmieniają i nie częściej. Codzienne kontrole pasują do większości katalogów; godzinne sprawdzenia do rynków, cen transportowych i promocji błyskawicznych na krótkiej liście kluczowych produktów. Trzy nawyki obniżają koszty i obciążenie:

• Sprawdzaj ponownie tylko to, co się zmienia. Śledź szybkość zmian dla produktu i zwalniaj przy stabilnych.
• Pytaj, zanim pobierzesz. Wysyłaj If-None-Match lub If-Modified-Since; 304 Not Modified to koszt kilkuset bajtów.
• Rozłóż pracę. Realizuj kontrole w ciągu dnia na stronę, zamiast jednej fali o północy.

Jakie są zasady monitorowania cen konkurencji?

Ceny publiczne to zwykle fakty, które każdy może odczytać, ale sposób ich zbierania ma znaczenie. Szanuj plik robots.txt i regulaminy każdej strony, utrzymuj uprzejmy limit zapytań, nie loguj się na konta, nie składaj zamówień ani nie rezerwuj towaru tylko po to, by odczytać cenę. Nigdy nie wykorzystuj monitoringu do wykupywania ograniczonych zasobów lub biletów. Obowiązuje CrawlRelay Polityka Akceptowalnego Użytkowania i nasz przegląd prawa dotyczącego web scrapingu przedstawia szerszy kontekst. To nie jest porada prawna.