คำตอบด่วน
พร็อกซีเรซิเดนเชียลแบบหมุนคืออะไร?
พร็อกซีเรซิเดนเชียลแบบหมุนคือที่อยู่เกตเวย์เดียวที่ส่งต่อการเชื่อมต่อใหม่แต่ละครั้งผ่าน IP ของบ้านแต่ละหลังจากพูลหนึ่ง ทำให้เว็บไซต์เห็นผู้ใช้บ้านทั่วไป CrawlRelay ขายพร็อกซีเรซิเดนเชียลแบบหมุนสำหรับนักขูดที่ราคา US$1.50 ต่อ 1 GB และ US$0.50/GB จาก 50 GB พร้อมเซสชันติดหนึบเมื่อคุณต้องการใช้ IP เดียว จ่ายด้วยคริปโต และไม่ต้อง KYC
ประเภทพร็อกซีและเครือข่าย
- พร็อกซีเรซิเดนเชียล
พร็อกซีที่มี IP ออกที่เป็นการเชื่อมต่ออินเทอร์เน็ตบ้านจากผู้ให้บริการทั่วไป เว็บไซต์จะเห็นเป็นผู้เยี่ยมชมบ้านธรรมดา ดู พร็อกซีเรซิเดนเชียล
- พร็อกซีมือถือ 4G
พร็อกซีที่มี IP ออกจากเครือข่ายผู้ให้บริการ 4G/5G ผู้ให้บริการจะแชร์ IP เดียวกันระหว่างผู้ใช้หลายคนดังนั้นเว็บไซต์จึงบล็อกด้วยความระมัดระวัง ดู พร็อกซีมือถือ
- พร็อกซีดาต้าเซ็นเตอร์
พร็อกซีที่โฮสต์ในศูนย์ข้อมูลโดยมี IP จดทะเบียนกับผู้ให้บริการโฮสต์ เร็วและราคาถูกแต่เว็บมักบล็อกช่วง IP ของโฮสต์
- พร็อกซี ISP
IP แบบคงที่ที่ประกาศโดยผู้ให้บริการอินเทอร์เน็ตแต่โฮสต์ในศูนย์ข้อมูล มองเหมือน IP บ้านกับฐานข้อมูลบางแห่งและมั่นคง CrawlRelay ไม่ขายพร็อกซี ISP
- เกตเวย์ Backconnect
เครื่องและพอร์ตเดียวที่ส่งต่อการเชื่อมต่อของคุณไปยัง IP ออกหลายตัว คุณเปลี่ยน IP ออกด้วยชื่อผู้ใช้หรือเปิดการเชื่อมต่อใหม่ ไม่ได้เปลี่ยนที่อยู่ที่ใช้โดยตรง
- IP ออก (โหนดออก)
ที่อยู่ IP ที่เว็บไซต์เป้าหมายเห็น กับเกตเวย์เรซิเดนเชียลคือการเชื่อมต่อบ้านที่เลือกตรงกับการตั้งเป้าหมายของคุณ
- CGNAT
Carrier-grade NAT: ผู้ให้บริการมือถือหรือบรอดแบนด์ใส่ผู้ใช้หลายคนไว้หลัง IP สาธารณะเพียงไม่กี่ตัว RFC 6598 จัดให้ 100.64.0.0/10 เป็นที่ว่างแชร์ในเครือข่ายแบบนี้
- ASN
หมายเลขระบบอิสระ (ASN): ตัวระบุเครือข่ายบนอินเทอร์เน็ต เช่น AS7922 สำหรับ Comcast การตั้งเป้าหมาย ASN เลือก IP ออกจากผู้ให้บริการอินเทอร์เน็ตเดียวกัน
- ที่มา
แหล่งที่มาของ IP บ้านของผู้ให้บริการ และเงื่อนไขที่เจ้าของอุปกรณ์แชร์แบนด์วิดท์ หลังจากการปิดตัว IPIDEA และ NetNut ในปี 2026 คำถามสำคัญในการซื้อ ดู แหล่งที่มา
เซสชัน โปรโตคอล และข้อผิดพลาด
- เซสชันแบบหมุน
ชื่อผู้ใช้ที่ไม่มีรหัสเซสชัน: การเชื่อมต่อใหม่แต่ละครั้งจะได้ IP จากพูล โดยปกติจะไม่ซ้ำกัน การหมุนตามการเชื่อมต่อไม่ใช่คำขอ HTTP แต่ละรายการ
- Sticky session
ชื่อผู้ใช้ที่มีรหัสเซสชันและอายุเซสชัน (TTL): การเชื่อมต่อที่ใช้รหัสนี้จะได้ IP เดิมเป็นเวลา นานสูงสุด 30 นาที ถึงแม้ IP อาจเปลี่ยนก่อนเวลา ดู เซสชัน
- TTL (ความยาวเซสชัน)
ระยะเวลาที่เซสชันติดหนึบเก็บ IP ของตน ตั้งค่าเป็นนาทีด้วย
-ttl-<minutes>เซสชันอาจสิ้นสุดก่อนหากอุปกรณ์ที่อยู่เบื้องหลังออฟไลน์- เก็บการเชื่อมต่อไว้
ใช้การเชื่อมต่อ TCP เดียวซ้ำสำหรับคำขอ HTTP หลายรายการ เร็วกว่าแต่ทุกคำขอบนการเชื่อมต่อนั้นใช้ IP เดียวกัน
- CONNECT
วิธี HTTP ที่ไคลเอนต์ใช้เพื่อขอพร็อกซีให้เชื่อมต่อช่องทางไปยังโฮสต์และพอร์ต (RFC 9110, ส่วน 9.3.6) จากนั้นทราฟฟิก HTTPS จะส่งผ่านช่องทางนี้แบบปลายทางถึงปลายทาง
- SOCKS5
โปรโตคอลพร็อกซีที่ถ่ายทอดการเชื่อมต่อ TCP โดยไม่อ่าน HTTP (RFC 1928) โดยมีการตรวจสอบชื่อผู้ใช้และรหัสผ่านตาม RFC 1929
- socks5h
สกีม URL ที่บอกไคลเอนต์ให้ส่งชื่อโฮสต์ไปยังพร็อกซี SOCKS5 เพื่อให้การแก้ DNS เกิดขึ้นที่ IP ออกแทนที่จะเป็นบนเครื่องของคุณ
- Proxy-Authorization
เฮดเดอร์คำขอที่บรรจุข้อมูลรับรองพร็อกซี ปกติเป็น Basic
username:passwordในรูปแบบ Base64 พร็อกซีจะลบเฮดเดอร์นี้ก่อนส่งต่อ- 407 ต้องมีการยืนยันตัวตนพร็อกซี
พร็อกซีปฏิเสธคำขอเพราะข้อมูลยืนยันตัวตนขาดหายหรือผิดพลาด เว็บไซต์ไม่ได้รับการติดต่อเลย ดู 407.
- 429 ขอมากเกินไป
เว็บไซต์กำลังจำกัดอัตราการเข้าถึง (RFC 6585) ชะลอความเร็วและเคารพ Retry-After ดู 429.
- Retry-After
หัวข้อการตอบกลับที่ระบุจำนวนวินาที หรือวันที่ที่ต้องรอก่อนลองใหม่ (RFC 9110, ส่วนที่ 10.2.3) ส่งพร้อมกับการตอบกลับ 429 และ 503.
- ความขนาน
จำนวนคำขอที่ทำงานพร้อมกันในครั้งเดียว ตามกฎของ Little เท่ากับผลลัพธ์คูณความหน่วง จำกัดต่อโฮสต์เป้าหมาย ดู concurrency.
แนวปฏิบัติและกฎการครอลล์
- robots.txt
ไฟล์ที่อยู่รากของเว็บไซต์ ที่บอกไคลเอนต์อัตโนมัติว่าทางใดที่อนุญาตให้นำข้อมูล มีมาตรฐานใน RFC 9309 ปี 2022 ครอลเลอร์ไม่ควรแคชเกิน 24 ชั่วโมง
- Crawl-delay
บรรทัดใน robots.txt ที่ไม่เป็นมาตรฐานแต่ใช้บอกเวลาระหว่างคำขอในวินาที Python
urllib.robotparserอ่านด้วยcrawl_delay()- User agent
หัวข้อที่ระบุชื่อไคลเอนต์ ครอลเลอร์ที่รับผิดชอบจะส่งชื่อ รุ่น และ URL ติดต่อของตัวเอง ไม่ควรใช้ชื่อครอลเลอร์ตัวอื่น
- Content Signals
ส่วนขยาย robots.txt ของ Cloudflare ที่มีค่า
search,ai-inputและai-trainเปิดตัวในเดือนกันยายน 2025 บอกครอลเลอร์ว่าคอนเทนต์จะใช้งานอย่างไร- TDM opt-out
การจองสิทธิของเจ้าของลิขสิทธิ์ที่อ่านได้ด้วยเครื่อง สำหรับการคัดกรองข้อมูลข้อความและข้อมูลตามกฎหมายลิขสิทธิ์ EU ที่ผู้ให้บริการโมเดล AI ทั่วไปต้องเคารพ
- CAPTCHA
ความท้าทายที่ถามว่าผู้เยี่ยมชมเป็นมนุษย์หรือไม่ สำหรับครอลเลอร์คือสัญญาณให้ชะลอหรือหยุด; CrawlRelay ไม่รองรับการแก้ไขอัตโนมัติ
- Headless browser
เบราว์เซอร์ที่ไม่มีหน้าต่างแสดงผล ใช้การควบคุมด้วยโค้ดเช่น Playwright หรือ Puppeteer เรนเดอร์ JavaScript แต่ดาวน์โหลดข้อมูลต่อหน้ามากกว่าไคลเอนต์ HTTP
- JSON-LD
ข้อมูลโครงสร้างฝังในหน้าเว็บเป็น JSON มักใช้ schema.org เช่น Product และ Offer ที่แหล่งข้อมูลราคาสินค้าและข้อเท็จจริงที่น่าเชื่อถือที่สุด
- WARC
รูปแบบไฟล์ Web ARChive สำหรับเก็บคำขอและตอบกลับ HTTP ดิบ ใช้โดย Common Crawl และเว็บอาร์ไคฟ์ การเก็บตอบกลับดิบช่วยลดค่าใช้จ่ายไม่ต้องจ่ายซ้ำสำหรับหน้าเว็บเดียวกัน
- คำขอมีเงื่อนไข
คำขอที่มี
If-None-MatchหรือIf-Modified-Sinceหน้าเว็บที่ไม่มีการเปลี่ยนแปลงตอบ304 Not Modifiedโดยไม่มีเนื้อหา ช่วยประหยัดข้อมูล
การซื้อและการชำระเงิน
- จ่ายตามการใช้งาน
จ่ายค่าใช้จราจรครั้งเดียวเมื่อจำเป็น แทนการสมัครรายเดือน แผนที่ CrawlRelay คือการซื้อครั้งเดียวจากยอดเงินเติมเงิน
- อายุการใช้งานทราฟฟิก
ไบต์ที่ซื้อมาหมดอายุหลังระยะเวลาหนึ่ง เช่น 31 วันหรือหนึ่งเดือน CrawlRelay สำหรับพร็อกซีเรซิเดนเชียลและพร็อกซีมือถือ 4G ไม่หมดอายุ
- กิกะไบต์เลขทศนิยม
1 GB = 1,000,000,000 ไบต์; gibibyte (GiB) คือ 1,073,741,824 ไบต์ ให้ถามว่าผู้ให้บริการเรียกเก็บในหน่วยไหน; CrawlRelay เรียกเก็บในหน่วย GB แบบทศนิยม
- ต้นทุนต่อคำขอที่สำเร็จ
ต้นทุนการใช้งานหารด้วยจำนวนตอบกลับที่ใช้ได้ เป็นการเปรียบเทียบที่ดีกว่าการดูราคาในแผนราย GB
- ซับยูสเซอร์
ชุดข้อมูลยืนยันพร็อกซีแยกต่างหากภายใต้บัญชีเดียว มีขีดจำกัดการใช้งานและผลรวมการใช้ของตัวเอง ใช้แยกโปรเจกต์หรือไคลเอนต์
- KYC
ไม่ต้อง KYC: การยืนยันตัวตนด้วยเอกสาร ภาพเซลฟี่ หรือเอกสารบริษัท CrawlRelay ไม่ขอข้อมูลและพึ่งพา นโยบายการใช้ที่ยอมรับได้ แทน
- AUP
นโยบายการใช้ที่ยอมรับได้: กฎที่ทุกบัญชีปฏิบัติตาม ระบุการใช้งานที่อนุญาต, ห้ามใช้ และเป้าหมายที่ถูกบล็อก