403 Forbidden khi crawl qua proxy: nguyên nhân và cách xử lý

403 Forbidden nghĩa là gì?

RFC 9110 định nghĩa 403 là từ chối: máy chủ hiểu yêu cầu nhưng sẽ không thực hiện. Khác 401, đổi thông tin đăng nhập không giúp được. Trang có thể giải thích lý do trong nội dung trả về, nhưng nhiều tường lửa chỉ gửi trang ngắn chung chung.

Với crawler, 403 là dấu hiệu chính sách. Trang quyết định yêu cầu này, từ IP này, kèm header này, với tốc độ này, không được tải trang. Một số nguyên nhân do bạn sửa được, số khác là thông báo từ trang.

a 403 trông như thế nào trong Python, curl, Node.js và trình duyệt?

Cùng một lỗi nhưng hiển thị khác nhau trên mỗi công cụ. Đây là các thông báo bạn nên tìm trong nhật ký của mình:

• Python requests: r.status_code == 403, thường kèm HTML từ nhà cung cấp tường lửa
• Scrapy: Ignoring response <403 https://...>: HTTP status code is not handled or not allowed
• curl: HTTP/2 403 trong đầu ra chi tiết
• Playwright, Puppeteer: trình duyệt chuyển hướng thành công nhưng response.status() trả 403 và trang hiện thông báo cấm truy cập

Nguyên nhân gây ra a 403 là gì?

Khả năng đầu tiên là:

• Vị trí địa lý. Nội dung không cung cấp tại quốc gia IP ra hoặc trang chỉ phục vụ một vùng.
• Danh tiếng IP. Trang chặn dải địa chỉ liên quan đến lưu lượng tự động. Dải datacenter thường bị chặn hơn residential.
• Dấu vân tay yêu cầu. Header thiếu hoặc không nhất quán, như không có Accept-Language, hoặc User-Agent trình duyệt gửi bởi client HTTP đơn giản.
• Tốc độ. Quá nhiều yêu cầu trong thời gian ngắn trên một phiên, khiến tường lửa tăng từ 429 lên 403.
• Quy định truy cập. Trang yêu cầu đăng nhập, tài khoản trả phí, hoặc loại trừ crawler trong robots.txt hoặc điều khoản sử dụng.
• Chính sách proxy. Một số đích bị proxy từ chối. Trên CrawlRelay, điều này áp dụng các mục trong Chính sách Sử dụng Phù hợp.

Làm sao để chẩn đoán a 403 từng bước?

1. Mở URL trên trình duyệt bình thường từ quốc gia đó. Nếu cũng lỗi, trang không công khai cho khu vực đó.
2. So sánh header crawler gửi và trình duyệt gửi.
3. Kiểm tra robots.txt và điều khoản trang về truy cập tự động.
4. Quan sát thời điểm lỗi 403 xuất hiện: lỗi sau N yêu cầu là do tốc độ, không phải IP.

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

Làm sao để sửa a 403?

• Chọn đúng quốc gia bằng tham số country- để thấy phiên bản trang người dùng địa phương nhận.
• Gửi header trung thực và đầy đủ. Xác định crawler trong User-Agent với URL liên hệ, gửi Accept và Accept-Language.
• Chậm lại. Giảm số kết nối đồng thời mỗi host và thêm độ trễ. Xem cách xử lý 403, 429 và CAPTCHA.
• Tôn trọng từ chối. Nếu trang chặn truy cập tự động cố ý, hãy tìm API chính thức, giấy phép dữ liệu hoặc bộ dữ liệu công khai. Thay đổi IP để qua chặn có thể vi phạm Chính sách Sử dụng Phù hợp.

Có nên thử lại sau a 403 không?

Chỉ thử lại 403 một lần và chỉ sau khi nghỉ, trên IP mới. Một thử lại giúp phân biệt lỗi một địa chỉ với chính sách toàn trang. Nếu lần hai vẫn 403, dừng gửi yêu cầu dạng URL đó và xem lại cấu hình. Gửi liên tục 403 lãng phí băng thông và biến block mềm thành hard block.

403 Forbidden áp dụng thế nào với CrawlRelay?

Trên CrawlRelay, kết nối mới không có session ID thường ra IP residential khác, nên thử lại một lần kiểm tra địa chỉ mới. Giữ nguyên quốc gia khi thử lại: đổi quốc gia thay đổi nội dung so sánh. Yêu cầu đến trang ngân hàng, chính phủ và cổng thanh toán bị cổng từ chối theo AUP.

Gateway: gw.crawlrelay.com, cổng 7777 (HTTP, HTTPS qua CONNECT) và cổng 7778 (SOCKS5). Định dạng tên người dùng: USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}. Tham khảo liên quan: 429 Too Many Requests · 401 vs 407 · Xử lý 403, 429 và CAPTCHA.