Proxy residenziali per monitoraggio prezzi e-commerce

Perché un proxy cambia il prezzo che vedo?

Perché i negozi adattano cosa mostrano in base alla posizione apparente del visitatore. L’indirizzo IP decide edizione paese, valuta, inclusione IVA, venditori sul marketplace e opzioni e costi di consegna. Alcuni rivenditori fanno promozioni regionali o tengono scorte per magazzino.

Un monitor prezzi da un server in un solo paese vede una versione unica del mercato. Gli exit residenziali in ogni mercato mostrano ciò che vedono i clienti locali, che è il dato rilevante per le decisioni di prezzo e per verificare che i rivenditori rispettino i prezzi minimi pubblicizzati.

Come estrarre prezzi in modo affidabile?

Leggi prima i dati strutturati prima di scrivere selettori CSS. Molte pagine prodotto includono dati schema.org Product con un Offer in JSON-LD, che contiene prezzo, valuta e disponibilità in formato stabile; i selettori si rompono a ogni redesign. Usa i selettori solo quando la pagina non ha dati strutturati.

import json
import re

import requests

GATEWAY = "gw.crawlrelay.com:7777"
LD_JSON = re.compile(r'<script[^>]+type="application/ld\+json"[^>]*>(.*?)</script>', re.S | re.I)


def offers(html):
    """Yield (price, currency, availability) from schema.org Product data in a page."""
    for block in LD_JSON.findall(html):
        try:
            data = json.loads(block)
        except ValueError:
            continue
        for item in data if isinstance(data, list) else [data]:
            if not isinstance(item, dict) or item.get("@type") != "Product":
                continue
            offer = item.get("offers") or {}
            for o in offer if isinstance(offer, list) else [offer]:
                if isinstance(o, dict):
                    yield o.get("price") or o.get("lowPrice"), o.get("priceCurrency"), o.get("availability")


def check(url, country):
    proxy = "http://USERNAME-country-%s:PASSWORD@%s" % (country, GATEWAY)
    r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=(10, 30))
    return r.status_code, list(offers(r.text))


for cc in ("us", "gb", "de"):
    print(cc, check("https://www.example.com/product/123", cc))

Quanta larghezza di banda usa il monitoraggio prezzi?

Conta le pagine prodotto, i mercati e i controlli, poi moltiplica per il peso della pagina. Con circa 60 KB per pagina prodotto HTML compressa:

Sessioni rotanti o sticky per i controlli prezzi?

Ruota tra i prodotti e rimani sticky durante un flusso. Le pagine prodotto sono indipendenti, quindi ognuna può uscire da un nuovo exit nel paese target. Una stima di consegna che richiede CAP, totale carrello o una ricerca paginata copre diverse richieste, e il negozio se le aspetta dallo stesso visitatore: assegna a quel flusso un solo ID sessione con TTL di pochi minuti, poi rilascia la sessione.

Ogni quanto devo controllare i prezzi?

Tanto spesso quanto i prezzi cambiano davvero, e non di più. I controlli giornalieri vanno bene per la maggior parte dei cataloghi; i controlli orari per marketplace, tariffe di viaggio e vendite flash su una lista ristretta di prodotti chiave. Tre abitudini riducono costi e carico:

• Ricontrolla solo le variazioni. Segui la frequenza di cambiamento per prodotto e rallenta quelli stabili.
• Chiedi prima di scaricare. Invia If-None-Match o If-Modified-Since; un 304 Not Modified costa qualche centinaio di byte.
• Distribuisci il lavoro. Esegui i controlli nel corso della giornata per sito anziché tutti insieme a mezzanotte.

Quali sono le regole per monitorare i prezzi dei concorrenti?

I prezzi pubblici sono in genere fatti che chiunque può leggere, ma il modo in cui li raccogli importa. Rispetta i robots.txt e i termini di ogni sito, mantieni un ritmo di richieste educato, non accedere ad account e non effettuare ordini o riservare stock per leggere un prezzo. Non usare mai il monitoraggio per acquistare stock limitati o biglietti. Si applica la Acceptable Use Policy di CrawlRelay], e la nostra panoramica sulla legge del web scraping] copre il quadro più ampio. Non è consulenza legale.