คำตอบด่วน
403 Forbidden หมายความว่าอย่างไรกับพร็อกซี?
403 Forbidden หมายความว่าเซิร์ฟเวอร์เข้าใจคำร้องของคุณแต่ปฏิเสธให้บริการ เมื่อคุณขูดข้อมูลผ่านพร็อกซีที่อยู่อาศัยของ CrawlRelay รหัส 403 มักมาจากเว็บไซต์เป้าหมายหรือไฟร์วอลล์ ไม่ใช่พร็อกซี ตรวจสอบเหตุผลก่อนส่งทราฟฟิกเพิ่ม: ประเทศผิด หัวข้อความต้องหายไป หน้าหลังล็อกอิน หรือเว็บไซต์ที่ไม่อนุญาตการเข้าถึงอัตโนมัติ
403 Forbidden แบบสั้นๆ
| ข้อผิดพลาด | 403 Forbidden |
|---|---|
| ประเภท | รหัสสถานะ HTTP (4xx, ข้อผิดพลาดของไคลเอนต์) |
| ส่งโดย | โดยปกติคือเว็บไซต์เป้าหมายหรือไฟร์วอลล์ บางครั้งเป็นพร็อกซีสำหรับปลายทางที่ถูกบล็อก |
| กำหนดไว้ใน | RFC 9110, section 15.5.4 |
| ลองใหม่อีกครั้งไหม? | เกิดขึ้นครั้งเดียวหลังหยุดพักและบน IP ใหม่ การตอบ 403 ซ้ำๆ หมายถึงให้หยุด |
| ตรวจสอบก่อน | เปิด URL เดียวกันในเบราว์เซอร์ปกติจากประเทศเดียวกัน |
403 Forbidden หมายความว่าอย่างไร?
RFC 9110 กำหนด 403 เป็นการปฏิเสธ: เซิร์ฟเวอร์เข้าใจคำร้องแต่จะไม่ตอบสนอง เหมือนไม่ใช่ 401 ข้อมูลประจำตัวใหม่ไม่ช่วย เว็บไซต์อาจอธิบายเหตุผลในเนื้อหาการตอบกลับ แต่ไฟร์วอลล์หลายตัวส่งหน้าเว็บสั้นๆ ทั่วไป
สำหรับ scraper 403 เป็นสัญญาณนโยบาย เว็บไซต์ตัดสินใจว่าคำร้องนี้ จาก IP นี้ ด้วยหัวข้อเหล่านี้ และที่อัตรานี้ ไม่ควรได้รับหน้าเว็บ ป้อนข้อมูลบางส่วนเป็นของคุณเพื่อแก้ไข อีกบางส่วนเป็นสัญญาณจากเว็บไซต์เปลี่ยนใจว่าไม่
a 403 เป็นอย่างไรใน Python, curl, Node.js และเบราว์เซอร์?
ข้อผิดพลาดเดียวกันนี้แสดงผลแตกต่างกันในแต่ละเครื่องมือ นี่คือข้อความที่ต้องค้นหาในบันทึกของคุณ:
- Python requests:
r.status_code == 403มักมีเนื้อหา HTML จากผู้ขายไฟร์วอลล์ - Scrapy:
Ignoring response <403 https://...>: HTTP status code is not handled or not allowed - curl:
HTTP/2 403ในผลลัพธ์ verbose - Playwright, Puppeteer: การนำทางสำเร็จแต่
response.status()ส่งคืน 403 และหน้าแสดงข้อความปฏิเสธการเข้าถึง
อะไรเป็นสาเหตุของ a 403?
โอกาสสูงสุดอันดับแรก:
- ภูมิศาสตร์. เนื้อหาไม่มีให้ในประเทศของ IP ทางออก หรือเว็บไซต์ให้บริการแค่ภูมิภาคเดียว
- ชื่อเสียง IP. เว็บไซต์บล็อกช่วงที่อยู่ที่สัมพันธ์กับทราฟฟิกอัตโนมัติ ช่วงที่อยู่ในดาต้าเซ็นเตอร์ถูกบล็อกบ่อยกว่าช่วงที่อยู่อาศัย
- ลายนิ้วมือคำร้อง. หัวข้อขาดหายหรือไม่สอดคล้อง เช่น ไม่มี
Accept-Languageหรือ User-Agent ของเบราว์เซอร์ถูกส่งโดยไคลเอนต์ HTTP ธรรมดา - อัตรา. คำร้องมากเกินไปในเวลาสั้นๆ ต่อเซสชันเดียว ไฟร์วอลล์จะเพิ่มระดับจาก 429 เป็น 403
- กฎการเข้าถึง. หน้าต้องล็อกอิน ต้องมีบัญชีชำระเงิน หรือถูกยกเว้นสำหรับตัวขูดใน robots.txt หรือข้อกำหนดการใช้
- นโยบายพร็อกซี. บางปลายทางถูกพร็อกซีปฏิเสธ ที่ CrawlRelay ใช้กับหมวดหมู่ที่อยู่ในนโยบายการใช้งานที่ได้รับอนุญาต
ฉันวินิจฉัย a 403 ทีละขั้นตอนอย่างไร?
- โหลด URL ในเบราว์เซอร์ปกติจากประเทศเดียวกัน ถ้าล้มเหลวเช่นกัน แสดงว่าหน้าเว็บนี้ไม่เปิดเผยสำหรับพื้นที่นั้น
- เปรียบเทียบหัวข้อที่ scraper ของคุณส่งกับที่เบราว์เซอร์ส่ง
- ตรวจสอบ robots.txt และข้อกำหนดเป้าหมายสำหรับกฎการเข้าถึงอัตโนมัติ
- ดูรูปแบบเวลา: 403 ที่เริ่มหลัง N คำร้อง แสดงถึงอัตรา ไม่ใช่ IP
# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL
# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URLฉันจะแก้ไข a 403 อย่างไร?
- เลือกประเทศที่ถูกต้อง ด้วยพารามิเตอร์
country-เพื่อดูเวอร์ชันเว็บไซต์ที่ผู้เยี่ยมชมในพื้นที่เห็น - ส่งหัวข้อครบถ้วนและถูกต้อง. ระบุ crawler ของคุณใน User-Agent พร้อม URL ติดต่อ และส่ง
AcceptกับAccept-Language - ลดความเร็ว. ลดความพร้อมกันต่อโฮสต์และเพิ่มความล่าช้า ดู วิธีจัดการ 403, 429 และ CAPTCHA
- เคารพการปฏิเสธ. ถ้าเว็บไซต์บล็อกการเข้าถึงอัตโนมัติด้วยเจตนา ค้นหา API ทางการ ใบอนุญาตข้อมูล หรือชุดข้อมูลสาธารณะแทน การหมุน IP เพื่อข้ามการบล็อกเจตนาอยู่นอก นโยบายการใช้งานที่ได้รับอนุญาต
ฉันควรลองใหม่หลังจาก a 403 ไหม?
ลองซ้ำ 403 ได้สูงสุดครั้งเดียว หลังหยุดพัก และบน IP ใหม่ การลองครั้งที่สองที่ยังได้ 403 ให้หยุดส่งคำร้องที่ URL แบบนั้นและตรวจสอบการตั้งค่าของคุณ การกดไปที่ 403 จะเสียแบนด์วิธและเปลี่ยนบล็อกอ่อนเป็นบล็อกแข็ง
403 Forbidden มีผลอย่างไรกับ CrawlRelay?
ที่ CrawlRelay การเชื่อมต่อใหม่โดยไม่มีรหัสเซสชันมักจะออกผ่าน IP ที่อยู่อาศัยต่างกัน จึงถือว่าลองซ้ำครั้งเดียวเป็นการทดสอบที่อยู่ใหม่ ให้คงประเทศเดิมเมื่อกลับมาลองซ้ำ: การเปลี่ยนประเทศจะเปลี่ยนเนื้อหาที่คุณเปรียบเทียบ คำร้องไปยังเว็บไซต์ธนาคาร รัฐบาล และพอร์ทัลการชำระเงินจะถูกเกตเวย์ปฏิเสธตาม AUP
เกตเวย์: gw.crawlrelay.com, พอร์ต 7777 (HTTP, HTTPS ผ่าน CONNECT) และพอร์ต 7778 (SOCKS5). รูปแบบชื่อผู้ใช้: USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}. ที่เกี่ยวข้อง: 429 Too Many Requests · 401 vs 407 · การจัดการ 403, 429 และ CAPTCHA.
403 Forbidden: คำถามที่นักพัฒนาถาม
403 หมายความว่า IP พร็อกซีของฉันถูกแบนหรือไม่?
ไม่จำเป็นเสมอไป 403 อาจเกิดจากประเทศไม่ถูกต้อง, header ขาดหาย, อัตราคำขอสูงเกินไป หรือหน้าเว็บที่ไม่เปิดสาธารณะ ทดสอบ URL เดียวกันจากเบราว์เซอร์ในประเทศเดียวกันและเปรียบเทียบ หาก IP ใหม่เข้าถึงหน้าเว็บได้แต่ IP เก่าเข้าถึงไม่ได้ แสดงว่า IP เก่าถูกติดธง หากทุก IP ได้รับ 403 กฎของเว็บเป็นสาเหตุ
พร็อกซีที่อยู่อาศัยจะช่วยลบข้อผิดพลาด 403 ได้หรือไม่?
ไม่ใช่เสมอไป ทางออกที่เป็นที่อยู่อาศัยในประเทศหรือเมืองที่ถูกต้องแก้ไข 403 ที่เกิดจากตำแหน่งผิด เพราะเว็บไซต์จะให้บริการเวอร์ชันท้องถิ่น หากเว็บไซต์กรองช่วงโฮสติ้งหรือปฏิเสธตัวรวบรวมข้อมูลเพื่อป้องกันทราฟฟิกอัตโนมัติ IP ที่อยู่อาศัยไม่ได้อนุญาตให้เข้าถึง 403 ที่เกิดจาก header, อัตราหรือผนังกำแพงเข้าสู่ระบบต้องแก้ไขในโค้ดของคุณ
การเก็บข้อมูลขูดต่อหลังได้รับ 403 นั้นถูกกฎหมายหรือไม่?
403 เป็นสัญญาณชัดเจนว่าเว็บไซต์ปฏิเสธคำขอ การฝ่าผ่านอุปสรรคทางเทคนิคโดยเจตนาอาจมีความเสี่ยงทางกฎหมายในหลายประเทศ เช่น ภายใต้กฎหมายต่อต้านการหลบเลี่ยงหรือการใช้คอมพิวเตอร์โดยมิชอบ นี่ไม่ใช่คำแนะนำทางกฎหมาย อ่านภาพรวมของเราเกี่ยวกับ กฎหมายการสแครปเว็บในปี 2026 และปรึกษาทนายสำหรับกรณีของคุณ
ข้อผิดพลาดพร็อกซีอื่นๆ ในเอกสารอ้างอิงนี้
รหัสสถานะ HTTP
- 401 Unauthorized vs 407
- 403 Forbidden
- 407 Proxy Authentication Required
- 429 Too Many Requests
- 502 Bad Gateway
- 503 Service Unavailable
- 504 Gateway Timeout
ข้อผิดพลาดของเบราว์เซอร์และไคลเอนต์
ข้อผิดพลาดการเชื่อมต่อและ TLS
พร็อกซีเรซิเดนเชียลที่มีเอกสารอธิบายกรณีล้มเหลว
พร็อกซีเรซิเดนเชียล CrawlRelay จาก US$0.50/GB, ปริมาณข้อมูลที่ไม่หมดอายุ