Proxies residenciais para monitoramento de preços em e-commerce

Por que um proxy muda o preço que vejo?

Porque as lojas adaptam o que exibem conforme onde o visitante está. O endereço IP decide a edição do país, a moeda, se os preços incluem IVA, quais vendedores do marketplace aparecem e as opções e taxas de entrega. Alguns varejistas também fazem promoções regionais ou controlam estoques por depósito.

Um monitor de preços que roda em um servidor em um país vê uma versão do mercado. Saídas residenciais em cada mercado mostram o que clientes locais veem, que é o número relevante para decisões de preço e para confirmar que revendedores respeitam os preços mínimos anunciados.

Como extrair preços de forma confiável?

Leia dados estruturados antes de escrever seletores CSS. Muitas páginas de produto incorporam schema.org Product com um Offer em JSON-LD, que carrega preço, moeda e disponibilidade em formato estável; seletores quebram a cada redesign. Use seletores apenas onde a página não tiver dados estruturados.

import json
import re

import requests

GATEWAY = "gw.crawlrelay.com:7777"
LD_JSON = re.compile(r'<script[^>]+type="application/ld\+json"[^>]*>(.*?)</script>', re.S | re.I)


def offers(html):
    """Yield (price, currency, availability) from schema.org Product data in a page."""
    for block in LD_JSON.findall(html):
        try:
            data = json.loads(block)
        except ValueError:
            continue
        for item in data if isinstance(data, list) else [data]:
            if not isinstance(item, dict) or item.get("@type") != "Product":
                continue
            offer = item.get("offers") or {}
            for o in offer if isinstance(offer, list) else [offer]:
                if isinstance(o, dict):
                    yield o.get("price") or o.get("lowPrice"), o.get("priceCurrency"), o.get("availability")


def check(url, country):
    proxy = "http://USERNAME-country-%s:PASSWORD@%s" % (country, GATEWAY)
    r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=(10, 30))
    return r.status_code, list(offers(r.text))


for cc in ("us", "gb", "de"):
    print(cc, check("https://www.example.com/product/123", cc))

Quanto tráfego o monitoramento de preços usa?

Conte páginas de produtos, mercados e verificações, depois multiplique pelo peso da página. Com cerca de 60 KB por página HTML de produto comprimida:

Sessões rotativas ou fixas para checagem de preços?

Roteie entre produtos e mantenha a sessão fixa dentro de um fluxo. Páginas de produtos são independentes, então cada uma pode sair por uma nova saída no país-alvo. Uma estimativa de entrega que precisa de CEP, total do carrinho ou uma listagem paginada cobre várias requisições, e a loja espera que venham de um visitante: dê a esse fluxo um ID de sessão com TTL de alguns minutos, depois descarte.

Com que frequência devo checar os preços?

Tão frequentemente quanto os preços realmente mudam, e não mais do que isso. Checagens diárias atendem à maioria dos catálogos; checagens horárias são ideais para marketplaces, tarifas de viagem e promoções relâmpago em uma lista curta de produtos-chave. Três hábitos reduzem custo e carga:

• Reverifique o que muda. Acompanhe a taxa de mudança por produto e diminua para os estáveis.
• Pergunte antes de baixar. Envie If-None-Match ou If-Modified-Since; um 304 Not Modified custa algumas centenas de bytes.
• Distribua o trabalho. Faça as checagens ao longo do dia por site em vez de tudo em um único pico à meia-noite.

Quais são as regras para monitorar preços dos concorrentes?

Preços públicos geralmente são fatos que qualquer um pode ler, mas a forma como você os coleta importa. Respeite o robots.txt e termos de cada site, mantenha uma taxa educada de requisições, não faça login em contas e não faça pedidos ou reserve estoque para ler um preço. Nunca use monitoramento para comprar todo o estoque limitado ou ingressos. A Política de Uso Aceitável da CrawlRelay se aplica, e nossa visão geral da legislação de web scraping cobre o panorama geral. Isto não é aconselhamento jurídico.