Residentiële proxy's voor e-commerce prijsmonitoring

Waarom verandert een proxy de prijs die ik zie?

Omdat winkels afstemmen wat ze tonen op waar de bezoeker lijkt te zijn. Het IP-adres bepaalt de landeditie, de valuta, of de prijzen inclusief BTW zijn, welke marktplaatsverkopers verschijnen en de bezorgopties en -kosten. Sommige retailers voeren ook regionale acties of voorraadniveaus per magazijn.

Een prijsmonitor die draait vanaf één server in één land ziet één versie van de markt. Residentiële exits in elk marktgebied tonen wat lokale klanten zien, wat het cijfer is dat telt voor prijsbeslissingen en om te controleren of wederverkopers minimumadvertentieprijzen respecteren.

Hoe haal ik prijzen betrouwbaar binnen?

Lees eerst gestructureerde data voordat je CSS-selectors schrijft. Veel productpagina's embedden schema.org Product-data met een Offer in JSON-LD, die prijs, valuta en beschikbaarheid in een stabiel formaat dragen; selectors breken bij elke redesign. Val alleen terug op selectors als de pagina geen gestructureerde data bevat.

import json
import re

import requests

GATEWAY = "gw.crawlrelay.com:7777"
LD_JSON = re.compile(r'<script[^>]+type="application/ld\+json"[^>]*>(.*?)</script>', re.S | re.I)


def offers(html):
    """Yield (price, currency, availability) from schema.org Product data in a page."""
    for block in LD_JSON.findall(html):
        try:
            data = json.loads(block)
        except ValueError:
            continue
        for item in data if isinstance(data, list) else [data]:
            if not isinstance(item, dict) or item.get("@type") != "Product":
                continue
            offer = item.get("offers") or {}
            for o in offer if isinstance(offer, list) else [offer]:
                if isinstance(o, dict):
                    yield o.get("price") or o.get("lowPrice"), o.get("priceCurrency"), o.get("availability")


def check(url, country):
    proxy = "http://USERNAME-country-%s:PASSWORD@%s" % (country, GATEWAY)
    r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=(10, 30))
    return r.status_code, list(offers(r.text))


for cc in ("us", "gb", "de"):
    print(cc, check("https://www.example.com/product/123", cc))

Hoeveel verkeer verbruikt prijsmonitoring?

Tel het aantal productpagina's, markten en controles, vermenigvuldig dan met het paginagewicht. Met ongeveer 60 KB per gecomprimeerde HTML-productpagina:

Rotatie of vaste sessies voor prijscontroles?

Roteren tussen producten en binnen een flow vast blijven. Productpagina's zijn onafhankelijk, dus elk kan via een nieuwe exit in het doel-land vertrekken. Een levertijdschatting die een postcode nodig heeft, een winkelmandtotaal of een gepagineerde zoeklijst omvat meerdere verzoeken, en de winkel verwacht ze van één bezoeker: geef die flow één sessie-ID met een TTL van enkele minuten, en laat die daarna vallen.

Hoe vaak moet ik prijzen controleren?

Zo vaak als prijzen echt veranderen, en niet vaker. Dagelijkse controles passen bij de meeste catalogi; uurlijkse controles bij marktplaatsen, reistarieven en flash sales van een korte lijst kernproducten. Drie gewoonten verminderen kosten en belasting:

• Controleer opnieuw wat verandert. Volg het veranderingspercentage per product en vertraag stabiele producten.
• Vraag voordat je downloadt. Stuur If-None-Match of If-Modified-Since; een 304 Not Modified kost enkele honderden bytes.
• Verspreid het werk. Voer controles over de dag per site uit in plaats van in één burst om middernacht.

Wat zijn de regels voor het monitoren van concurrentenprijzen?

Publieke prijzen zijn meestal feiten die iedereen kan lezen, maar hoe je ze verzamelt blijft belangrijk. Respecteer de robots.txt en voorwaarden van elke site, houd een beleefde verzoekfrequentie aan, log niet in op accounts en plaats geen bestellingen of reserveer geen voorraad alleen om een prijs te zien. Gebruik monitoring nooit om beperkte voorraad of tickets op te kopen. De Acceptable Use Policy van CrawlRelay is van toepassing, en ons overzicht van web scraping-wetgeving behandelt het bredere plaatje. Dit is geen juridisch advies.