พร็อกซีเรซิเดนเชียลสำหรับตรวจสอบราคาพาณิชย์อิเล็กทรอนิกส์

ทำไมพร็อกซีถึงเปลี่ยนราคาที่ฉันเห็น?

เพราะร้านค้าปรับแต่งสิ่งที่แสดงตามตำแหน่งของผู้เยี่ยมชม ที่อยู่ IP ตัดสินใจเวอร์ชันประเทศ สกุลเงิน ว่าราคารวม VAT หรือไม่ ผู้ขายในตลาด และตัวเลือกค่าจัดส่งและค่าธรรมเนียม ผู้ค้าบางรายยังมีโปรโมชั่นระดับภูมิภาคหรือระดับคลังสินค้า

เครื่องตรวจสอบราคาที่รันจากเซิร์ฟเวอร์เพียงหนึ่งเครื่องในประเทศเดียวจะเห็นเวอร์ชันตลาดเพียงเวอร์ชันเดียว พร็อกซีเรซิเดนเชียลในแต่ละตลาดแสดงผลลัพธ์ที่ลูกค้าในพื้นที่เห็น ซึ่งเป็นตัวเลขที่สำคัญในการตัดสินใจด้านราคาและตรวจสอบว่าตัวแทนจำหน่ายปฏิบัติตามราคาขั้นต่ำที่ประกาศไว้

ฉันจะดึงราคาจากเว็บไซต์ได้อย่างน่าเชื่อถืออย่างไร?

อ่านข้อมูลโครงสร้างก่อนเขียน CSS selectors หลายหน้าสินค้าฝังข้อมูล schema.org Product โดยมี Offer ใน JSON-LD ซึ่งบรรจุราคา สกุลเงิน และสถานะวางขายในรูปแบบที่เสถียร; selectors จะพังกับทุกการออกแบบใหม่ ใช้ selectors เฉพาะเมื่อหน้าเว็บไม่มีข้อมูลโครงสร้าง

import json
import re

import requests

GATEWAY = "gw.crawlrelay.com:7777"
LD_JSON = re.compile(r'<script[^>]+type="application/ld\+json"[^>]*>(.*?)</script>', re.S | re.I)


def offers(html):
    """Yield (price, currency, availability) from schema.org Product data in a page."""
    for block in LD_JSON.findall(html):
        try:
            data = json.loads(block)
        except ValueError:
            continue
        for item in data if isinstance(data, list) else [data]:
            if not isinstance(item, dict) or item.get("@type") != "Product":
                continue
            offer = item.get("offers") or {}
            for o in offer if isinstance(offer, list) else [offer]:
                if isinstance(o, dict):
                    yield o.get("price") or o.get("lowPrice"), o.get("priceCurrency"), o.get("availability")


def check(url, country):
    proxy = "http://USERNAME-country-%s:PASSWORD@%s" % (country, GATEWAY)
    r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=(10, 30))
    return r.status_code, list(offers(r.text))


for cc in ("us", "gb", "de"):
    print(cc, check("https://www.example.com/product/123", cc))

การตรวจสอบราคาจะใช้ทราฟฟิกเท่าไหร่?

นับหน้าผลิตภัณฑ์ ตลาด และการตรวจสอบ แล้วคูณด้วยน้ำหนักหน้าเว็บ มีประมาณ 60 KB ต่อหน้าผลิตภัณฑ์ HTML ที่บีบอัดแล้ว:

เซสชันแบบหมุนเวียนหรือคงที่สำหรับการตรวจสอบราคา?

หมุนเวียนระหว่างผลิตภัณฑ์ และคงที่ภายใน flow หนึ่งๆ หน้าเว็บผลิตภัณฑ์เป็นอิสระ ดังนั้นแต่ละหน้าสามารถออกผ่าน exit ใหม่ในประเทศเป้าหมาย การประเมินเวลาจัดส่งที่ต้องใช้รหัสไปรษณีย์ ยอดรวมตะกร้า หรือรายการค้นหาที่แบ่งหน้า ครอบคลุมหลายคำขอ ร้านค้าคาดหวังคำขอเหล่านั้นจากผู้เข้าชมคนเดียว: ให้ flow นั้นมี session ID พร้อม TTL ไม่กี่นาที แล้วปล่อยทิ้งไป

ควรตรวจสอบราคาบ่อยแค่ไหน?

บ่อยตามที่ราคาจริงๆเปลี่ยน และไม่ควรมากกว่านั้น การตรวจสอบรายวันเหมาะกับแคตตาล็อกส่วนใหญ่ การตรวจสอบรายชั่วโมงเหมาะกับตลาดออนไลน์ ราคาท่องเที่ยว และโปรโมชั่นจำกัดเวลาสำหรับผลิตภัณฑ์หลักในรายชื่อสั้น ๆ สามนิสัยช่วยลดต้นทุนและภาระ:

• ตรวจสอบซ้ำสิ่งที่มีการเปลี่ยนแปลง ติดตามอัตราการเปลี่ยนแปลงต่อผลิตภัณฑ์และลดความถี่ของสินค้าที่คงที่
• ถามก่อนดาวน์โหลด ส่ง If-None-Match หรือ If-Modified-Since; 304 Not Modified มีค่าใช้จ่ายเป็นร้อยไบต์
• แบ่งงานเป็นช่วงเวลา กระจายการตรวจสอบตลอดทั้งวันต่อไซต์ แทนการทำพร้อมกันตอนเที่ยงคืน

มีกฎอะไรบ้างในการตรวจสอบราคาของคู่แข่ง?

ราคาสาธารณะนั้นโดยทั่วไปถือเป็นข้อมูลที่ทุกคนอ่านได้ แต่การเก็บข้อมูลยังต้องระวัง เคารพ robots.txt และข้อกำหนดของแต่ละไซต์ รักษาอัตราคำขออย่างสุภาพ หลีกเลี่ยงการล็อกอินบัญชี และห้ามสั่งซื้อหรือจองสต็อกเพื่ออ่านราคา ห้ามใช้การตรวจสอบเพื่อซื้อสินค้าหรือบัตรจำนวนจำกัด CrawlRelay มี นโยบายการใช้งานที่เหมาะสม และภาพรวมกฎหมายการดึงข้อมูลเว็บ](/guides/is-web-scraping-legal/) ครอบคลุมมุมกว้าง นี่ไม่ใช่คำแนะนำทางกฎหมาย