Residential-Proxys für eCommerce-Preisüberwachung

Warum ändert ein Proxy den angezeigten Preis?

Weil Shops ihren Inhalt an den Standort des Besuchers anpassen. Die IP-Adresse entscheidet über die Länderversion, Währung, ob Preise inkl. MwSt. sind, welche Marktplatzverkäufer angezeigt werden sowie Lieferoptionen und Gebühren. Manche Händler bieten zudem regionale Aktionen oder lagerspezifische Bestände.

Ein Preisüberwacher, der von einem einzigen Server in einem Land aus arbeitet, sieht eine Version des Marktes. Residential-Proxys in jedem Markt zeigen den lokalen Kundenstand, was für Preisentscheidungen und zur Kontrolle von Mindestpreisen bei Wiederverkäufern entscheidend ist.

Wie extrahiere ich Preise zuverlässig?

Lesen Sie strukturierte Daten, bevor Sie CSS-Selektoren einsetzen. Viele Produktseiten betten schema.org Product Daten mit einem Offer in JSON-LD ein, die Preis, Währung und Verfügbarkeit stabil übermitteln; Selektoren brechen bei jeder Neugestaltung. Setzen Sie Selektoren nur dort ein, wo keine strukturierten Daten vorliegen.

import json
import re

import requests

GATEWAY = "gw.crawlrelay.com:7777"
LD_JSON = re.compile(r'<script[^>]+type="application/ld\+json"[^>]*>(.*?)</script>', re.S | re.I)


def offers(html):
    """Yield (price, currency, availability) from schema.org Product data in a page."""
    for block in LD_JSON.findall(html):
        try:
            data = json.loads(block)
        except ValueError:
            continue
        for item in data if isinstance(data, list) else [data]:
            if not isinstance(item, dict) or item.get("@type") != "Product":
                continue
            offer = item.get("offers") or {}
            for o in offer if isinstance(offer, list) else [offer]:
                if isinstance(o, dict):
                    yield o.get("price") or o.get("lowPrice"), o.get("priceCurrency"), o.get("availability")


def check(url, country):
    proxy = "http://USERNAME-country-%s:PASSWORD@%s" % (country, GATEWAY)
    r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=(10, 30))
    return r.status_code, list(offers(r.text))


for cc in ("us", "gb", "de"):
    print(cc, check("https://www.example.com/product/123", cc))

Wie viel Traffic verbraucht die Preisüberwachung?

Zähle Produktseiten, Märkte und Checks und multipliziere dann mit dem Seitengewicht. Bei etwa 60 KB pro komprimierter HTML-Produktseite:

Rotierende oder feste Sessions für Preischecks?

Zwischen Produkten rotieren und innerhalb eines Ablaufs sticky bleiben. Produktseiten sind unabhängig, daher kann jede über einen neuen Residential Proxy im Zielmarkt ausgehen. Eine Lieferzeiten-Schätzung, die eine Postleitzahl, einen Warenkorbwert oder eine paginierte Suchergebnisliste erfordert, umfasst mehrere Anfragen, die der Shop von einem Besucher erwartet: Geben Sie diesem Ablauf eine Session-ID mit einer TTL von wenigen Minuten, danach verwerfen.

Wie oft sollte ich Preise prüfen?

So oft, wie sich Preise wirklich ändern – nicht öfter. Tägliche Checks eignen sich für die meisten Kataloge; stündliche Checks für Marktplätze, Reisepreise und Blitzangebote bei einer kurzen Liste wichtiger Produkte. Drei Gewohnheiten senken Kosten und Belastung:

• Prüfe erneut, was sich ändert. Verfolge die Änderungsrate pro Produkt und verlangsamen Sie die stabilen.
• Frage, bevor du lädst. Sende If-None-Match oder If-Modified-Since; ein 304 Not Modified kostet ein paar hundert Bytes.
• Verteile die Arbeit. Führe Checks über den Tag verteilt pro Seite aus, statt sie um Mitternacht in einem Schub zu erledigen.

Welche Regeln gelten für die Überwachung der Preise von Wettbewerbern?

Öffentliche Preise sind Fakten, die jeder lesen kann, aber wie Sie sie erfassen, ist entscheidend. Respektieren Sie die robots.txt und Nutzungsbedingungen jeder Seite, halten Sie eine höfliche Anfragefrequenz ein, loggen Sie sich nicht in Accounts ein und tätigen Sie keine Bestellungen oder Reservierungen, nur um einen Preis zu ermitteln. Nutzen Sie die Überwachung niemals, um begrenzte Lagerbestände oder Tickets aufzukaufen. Die Acceptable Use Policy von CrawlRelay gilt, und unsere Übersicht zum Web-Scraping-Recht beleuchtet das größere Bild. Dies ist keine Rechtsberatung.