API พร็อกซีเรซิเดนเชียลหมุนเวียนสำหรับการขูดข้อมูลเว็บ

พร็อกซีเรซิเดนเชียล API ทำงานอย่างไร?

คุณส่งคำขอทั้งหมดไปยังเกตเวย์เดียว และเกตเวย์จะส่งต่อผ่าน IP ที่เป็นพร็อกซีเรซิเดนเชียล ซึ่งตรงกับชื่อผู้ใช้ที่คุณส่ง ไม่มีรายการ IP ให้ดาวน์โหลดและไม่ต้องเขียนโค้ดสลับ IP

1. ยืนยันตัวตน ด้วยชื่อผู้ใช้และรหัสผ่านของแผนของคุณหรือของผู้ใช้งานย่อย หรือจาก IP ที่ถูกอนุญาตไว้
2. เลือกจุดออก โดยการเพิ่มพารามิเตอร์ในชื่อผู้ใช้: -country-de, -city-berlin หรือสำหรับสหรัฐอเมริกา -state-ny และ -zip-10001; -asn-7922 เลือกผู้ให้บริการอินเทอร์เน็ตโดยไม่เสียค่าใช้จ่ายเพิ่มเติม ความพร้อมใช้งานของเมืองแตกต่างกัน
3. เลือกเซสชัน: หากไม่มี ID เซสชัน การเชื่อมต่อใหม่แต่ละครั้งจะได้รับ IP จากพูล โดยส่วนใหญ่จะเป็น IP ที่ต่างกัน; -session-<id>-ttl-<minutes> รักษา IP เดิมสูงสุด 30 นาที แม้ IP อาจเปลี่ยนก่อน

ชื่อผู้ใช้เดียวกันนี้ใช้ได้กับพอร์ต HTTP (7777) และพอร์ต SOCKS5 (7778) เว็บไซต์ HTTPS จะผ่านทางอุโมงค์ CONNECT ดังนั้น TLS จะทำงานระหว่างไคลเอนต์ของคุณกับเว็บไซต์

import requests

GATEWAY = "gw.crawlrelay.com:7777"


def proxy(username, password):
    url = "http://%s:%s@%s" % (username, password, GATEWAY)
    return {"http": url, "https": url}


# Rotating: each new connection usually exits through a different residential IP in Germany
r = requests.get("https://api.ipify.org", proxies=proxy("USERNAME-country-de", "PASSWORD"), timeout=(10, 30))
print("rotating exit:", r.text)

# Sticky: the same IP for up to 30 minutes, across connections (it can change earlier)
sticky = proxy("USERNAME-country-de-city-berlin-session-crawl42-ttl-30", "PASSWORD")
for _ in range(3):
    print("sticky exit:", requests.get("https://api.ipify.org", proxies=sticky, timeout=(10, 30)).text)

ควรใช้เซสชันแบบสลับหรือแบบติดหนึบสำหรับการสแครป?

สลับสำหรับหน้าเว็บแยกต่างหาก; ใช้แบบติดหนึบสำหรับลำดับขั้นตอน เครื่องขูดข้อมูลที่ดึงหน้าผลิตภัณฑ์หรือบทความหลายพันหน้าที่ไม่เกี่ยวข้องกันควรเปิดการเชื่อมต่อใหม่สำหรับแต่ละหน้าโดยไม่ใช้ ID เซสชัน เพื่อกระจายการโหลดไปยังพร็อกซีเรซิเดนเชียลหลาย IP ลำดับขั้นตอนที่ขึ้นอยู่กับขั้นตอนก่อนหน้า เช่น การแบ่งหน้าโดยใช้เคอร์เซอร์ที่ผูกกับคุกกี้ ควรรักษาเซสชันติดหนึบหนึ่งเซสชันจนกว่าลำดับจะเสร็จสิ้น

การสลับ IP เกิดขึ้นเมื่อมีการเชื่อมต่อใหม่ ไม่ใช่ต่อ HTTP request ลูกค้าที่คงการเชื่อมต่อไว้เดียวกันจะใช้จุดออกเดียวกันสำหรับแต่ละคำขอในนั้น คู่มือเซสชัน sessions guide แสดงวิธีควบคุมใน requests, httpx, Scrapy และ Playwright

อัตราความสำเร็จที่คาดหวังจากพร็อกซีเรซิเดนเชียลเป็นอย่างไร?

คาดหวังอัตราการเชื่อมต่อสูงและอัตราความสำเร็จต่ำกว่าเล็กน้อยในเป้าหมายที่มีการป้องกัน และวัดทั้งสองค่า Proxyway's Proxy Market Research 2026 ทดสอบผู้ให้บริการ 13 ราย: เครือข่ายพร็อกซีเรซิเดนเชียลกลางตอบสนองคำขอ 99.28% แต่คำขอไปยังเป้าหมายจริงๆ เช่น Amazon, Google และ Instagram มีอัตราความสำเร็จเพียง 74.43%

ช่องว่างนี้เกิดจากการกรองของเป้าหมายเอง ซึ่งพร็อกซีไม่สามารถลบออกได้ เราไม่เผยแพร่อัตราความสำเร็จของตัวเองจนกว่าจะมีการวัดอย่างชัดเจน เปรียบเทียบผู้ให้บริการโดยดูที่ ต้นทุนต่อคำขอที่สำเร็จ สำหรับเป้าหมายของคุณเอง: ใช้ URL 1,000 รายการเดียวกันผ่านแต่ละผู้ให้บริการ นับจำนวนการตอบสนองที่ใช้งานได้ แล้วหารต้นทุนของทราฟฟิกด้วยจำนวนนี้

พร็อกซีเรซิเดนเชียลมาจากไหน?

จากเครือข่ายพันธมิตรที่ได้รับการยอมรับ CrawlRelay ไม่ได้มีเครือข่ายอุปกรณ์ของตัวเอง แต่จำหน่ายพร็อกซีเรซิเดนเชียลจากเครือข่ายพันธมิตรที่ได้รับการยืนยัน ผู้ให้บริการรายบนยืนยันว่าเจ้าของอุปกรณ์เลือกเข้าร่วมและสามารถเลือกยกเลิกได้ และซัพพลายของพวกเขาไม่ได้มาจากเครือข่ายที่ถูกยึดหรือมีปัญหา เช่น NetNut หรือ IPIDEA นี่คือการยืนยันจากผู้ให้บริการ ไม่ใช่การตรวจสอบในอุปกรณ์แต่ละเครื่อง; หน้า แหล่งที่มา] ระบุข้อจำกัดของพวกเขา การปิดบัญชีในปี 2026 แสดงให้เห็นความเสี่ยง: ในเดือนมกราคม Google ดำเนินคดีกับโดเมนของ IPIDEA และในเดือนกรกฎาคม FBI และ IRS-CI ยึดโดเมนของ NetNut หลังจาก Google รายงานว่าอุปกรณ์เข้าร่วมเครือข่ายเหล่านี้โดยที่เจ้าของไม่ทราบ ถามผู้ให้บริการใด ๆ รวมถึงเรา ว่าพร็อกซีของพวกเขามาจากไหนก่อนจะสร้างระบบงานบนพร็อกซีนั้น