E-ticaret fiyat takibi için konut proxyler

Bir proxy neden gördüğüm fiyatı değiştirir?

Çünkü mağazalar gösterdiklerini ziyaretçinin konumuna göre özelleştirir. IP adresi ülke sürümünü, para birimini, fiyatların KDV dahil olup olmadığını, hangi pazar yeri satıcılarının göründüğünü ve teslimat seçenekleri ile ücretlerini belirler. Bazı perakendeciler ayrıca bölgesel kampanyalar veya depo bazlı stok seviyeleri de uygular.

Tek bir ülkedeki tek bir sunucudan çalışan fiyat izleyici piyasayı tek bir sürüm olarak görür. Her piyasadaki konut çıkışlar, yerel müşterilerin gördüğü sürümü gösterir, bu fiyatlandırma kararları ve satıcıların minimum ilan edilmiş fiyatlara uyup uymadığını kontrol etmek için önemli olan rakamdır.

Fiyatları güvenilir nasıl çıkarırım?

CSS seçicileri yazmadan önce yapılandırılmış veriyi okuyun. Birçok ürün sayfası fiyat, para birimi ve stok durumunu stabil bir formatta taşıyan schema.org Product verisini JSON-LD içinde Offer olarak gömer; tasarım değişiklikleriyle seçiciler bozulur. Sayfa yapılandırılmış veri içermiyorsa sadece seçicilere dönün.

import json
import re

import requests

GATEWAY = "gw.crawlrelay.com:7777"
LD_JSON = re.compile(r'<script[^>]+type="application/ld\+json"[^>]*>(.*?)</script>', re.S | re.I)


def offers(html):
    """Yield (price, currency, availability) from schema.org Product data in a page."""
    for block in LD_JSON.findall(html):
        try:
            data = json.loads(block)
        except ValueError:
            continue
        for item in data if isinstance(data, list) else [data]:
            if not isinstance(item, dict) or item.get("@type") != "Product":
                continue
            offer = item.get("offers") or {}
            for o in offer if isinstance(offer, list) else [offer]:
                if isinstance(o, dict):
                    yield o.get("price") or o.get("lowPrice"), o.get("priceCurrency"), o.get("availability")


def check(url, country):
    proxy = "http://USERNAME-country-%s:PASSWORD@%s" % (country, GATEWAY)
    r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=(10, 30))
    return r.status_code, list(offers(r.text))


for cc in ("us", "gb", "de"):
    print(cc, check("https://www.example.com/product/123", cc))

Fiyat takibi ne kadar trafik kullanır?

Ürün sayfalarını, pazarları ve kontrolleri sayın, ardından sayfa ağırlığı ile çarpın. Sıkıştırılmış HTML ürün sayfası başına yaklaşık 60 KB ile:

Fiyat kontrolleri için rotasyonlu veya sabit oturum mu?

Ürünler arasında dönün ve bir akış içinde sabit kalın. Ürün sayfaları bağımsızdır, böylece her biri hedef ülkede yeni bir çıkış yapabilir. Posta kodu, sepet toplamı veya sayfalı bir arama listelemeye ihtiyaç duyan teslimat tahmini birkaç isteğe yayılır ve mağaza bunları tek bir ziyaretçiden bekler: bu akışa birkaç dakika TTL'li bir oturum kimliği verin, sonra bırakın.

Fiyatları ne sıklıkla kontrol etmeliyim?

Fiyatlar gerçekten değiştiği kadar sık ve başka şekilde değil. Günlük kontroller çoğu katalog için uygundur; saatlik kontroller pazaryerleri, seyahat ücretleri ve kısa liste ana ürünlerde flash satışlar için uygundur. Üç alışkanlık maliyeti ve yükü azaltır:

• Değişenleri tekrar kontrol edin. Ürün başına değişim oranını takip edin ve sabit olanları yavaşlatın.
• İndirmeden önce sorun. If-None-Match veya If-Modified-Since gönderin; 304 Not Modified birkaç yüz bayt maliyet oluşturur.
• İşi yaydırın. Kontrolleri gece yarısı tek seferde yapmak yerine gün boyunca site başına dağıtın.

Rakip fiyat takibinde kurallar nelerdir?

Genel olarak herkese açık fiyatlar herkesin okuyabileceği gerçeklerdir, ancak onları nasıl topladığınız önemlidir. Her sitenin robots.txt ve kullanım şartlarına saygı gösterin, kibar istek hızı uygulayın, hesaplara giriş yapmayın ve fiyat okumak için sipariş vermeyin veya stok ayırmayın. Izın verilen kullanımı ihlal etmeyin ve sınırlı stok ya da bilet satın almak için izleme kullanmayın. CrawlRelay'nun Kabul Edilebilir Kullanım Politikası geçerlidir ve web kazıma yasası genel bakışı için web scraping law sayfasına bakabilirsiniz. Bu yasal danışmanlık değildir.