Trả lời nhanh
Làm thế nào để biết lý do yêu cầu qua proxy bị thất bại?
Trước tiên hãy xác định ai đã trả lời: cổng proxy (407, lỗi kết nối CONNECT, một số 502 và 504), trang web (401, 403, 429, phần lớn 503), hoặc chính khách hàng của bạn (lỗi TLS và hết thời gian chờ). Sau đó đối chiếu thông điệp chính xác với trang bên dưới. Tài liệu tham khảo này bao gồm 15 lỗi mà các trình thu thập dữ liệu thường gặp với proxy dân cư CrawlRelay hoặc bất kỳ proxy HTTP hay SOCKS5 nào, kèm mã để sửa từng lỗi.
Tôi đang xem lỗi nào?
Tìm triệu chứng, rồi mở trang để được chẩn đoán đầy đủ.
| Triệu chứng | Gửi bởi | Thử lại? | Trang |
|---|---|---|---|
407, 'Kết nối đường hầm thất bại: 407' | Proxy | Không | 407 Yêu cầu xác thực proxy |
401 với WWW-Authenticate | Website | Không | 401 so với 407 |
403 trang hoặc thông điệp tường lửa | Website | Một lần, rồi dừng | 403 Cấm truy cập |
429, thường kèm Retry-After | Website | Có, sau đó | 429 Quá nhiều yêu cầu |
502, 'Kết nối đường hầm CONNECT thất bại, phản hồi 502' | Proxy hoặc CDN | Có, đổi exit mới | 502 Cổng trung gian lỗi |
503, trang bảo trì hoặc thử thách | Website hoặc CDN | Có, với thời gian chờ tăng dần | 503 Dịch vụ không sẵn có |
504 | Proxy hoặc CDN | Một hay hai lần | 504 Hết thời gian chờ cổng |
net::ERR_TUNNEL_CONNECTION_FAILED | Trình duyệt (proxy từ chối CONNECT) | Sau khi sửa nguyên nhân | ERR_TUNNEL_CONNECTION_FAILED |
net::ERR_PROXY_CONNECTION_FAILED | Trình duyệt (proxy không liên lạc được) | Không | ERR_PROXY_CONNECTION_FAILED |
ProxyError: Unable to connect to proxy | Khách hàng Python | Phụ thuộc nguyên nhân | Không thể kết nối với proxy |
[SSL: WRONG_VERSION_NUMBER] | Thư viện TLS của bạn | Không | SSL: WRONG_VERSION_NUMBER |
CERTIFICATE_VERIFY_FAILED | Thư viện TLS của bạn | Không | Xác thực chứng chỉ không thành công |
ReadTimeout, 'Đọc vượt quá thời gian' | Client của bạn | Có, đổi exit mới | Đọc vượt quá thời gian |
ECONNRESET, 'socket đã đóng', 'Kết nối bị đối tác đặt lại' | Mạng | Có, yêu cầu an toàn | Kết nối bị đặt lại |
| 'Thiếu phụ thuộc hỗ trợ SOCKS', lỗi curl 97 | Client hoặc server SOCKS | Tùy thuộc | Lỗi SOCKS5 |
Tất cả các lỗi theo loại
Mã trạng thái HTTP
- 401 Unauthorized vs 407
- 403 Forbidden
- 407 Proxy Authentication Required
- 429 Too Many Requests
- 502 Bad Gateway
- 503 Service Unavailable
- 504 Gateway Timeout
Lỗi trình duyệt và client
Lỗi kết nối và TLS
Những lỗi nào scraper nên tự động thử lại?
Thử lại những gì có thể thay đổi tự động, và dừng lại với những gì không thể:
- Thử lại với kết nối mới: 502, 504, kết nối bị đặt lại và đọc vượt quá thời gian. Kết nối mới thường sẽ sử dụng proxy dân cư khác.
- Thử lại sau, chậm hơn: 429 và 503. Chờ
Retry-Afterhoặc giảm bớt kết nối với độ trễ tăng dần có biến động, và giảm song song trên host đó. - Thử lại một lần, sau đó ngừng: 403. Thử lại một lần trên IP mới sẽ phân biệt địa chỉ bị đánh dấu với quy tắc site.
- Không bao giờ thử lại mù quáng: 407, 401, lỗi TLS và proxy không truy cập được. Đó là vấn đề cấu hình.
Hướng dẫn Python] trình bày chính sách thử lại tuân theo các quy tắc này với urllib3's Retry.
Làm sao để ghi lại lỗi dễ debug?
Ghi lại năm trường cho mỗi yêu cầu thất bại: tên host trong URL, mã trạng thái hoặc loại ngoại lệ, ID phiên nếu có, thời gian nhận byte đầu tiên, và 200 ký tự đầu của nội dung phản hồi. Nội dung cho biết liệu CDN, firewall hay proxy đã tạo trang lỗi. Thống kê lỗi theo host và trạng thái mỗi phút: tăng đột biến một host nghĩa là site đó đã thay đổi; tăng đột biến tất cả host nghĩa là cấu hình hoặc mạng của bạn có vấn đề.
Tham khảo lỗi: câu hỏi
Làm sao biết lỗi xuất phát từ proxy hay website?
Xem lỗi xảy ra ở giai đoạn nào. Lỗi khi CONNECT, hiển thị qua curl -v trước handshake TLS, đến từ proxy: 407, hoặc 502, 504 trong bước CONNECT. Mã trạng thái xuất hiện sau handshake TLS, cùng header và HTML của site, đến từ website. Lỗi client như timeout và lỗi TLS là do code hoặc mạng của bạn.
Yêu cầu thất bại có bị tính phí không?
Dung lượng tính theo byte đi qua gateway, nên phản hồi lỗi không đến được website, như 407, gần như không tính dung lượng. Trang bị chặn từ website là phản hồi bình thường và có dung lượng như trang thông thường. Giảm cả hai bằng cách sửa lỗi cấu hình sớm và giảm tần suất với 403 và 429.
Tỷ lệ lỗi bình thường của scraper dùng proxy dân cư là bao nhiêu?
Phụ thuộc vào mục tiêu. Nghiên cứu Proxyway 2026 đo thành công trung vị 99,28% trên mạng proxy dân cư nhưng chỉ 74,43% trên các mục tiêu thực bảo vệ như Amazon, Google và Instagram. Đo mục tiêu của bạn và theo dõi tỷ lệ theo thời gian: thay đổi đột ngột quan trọng hơn số tuyệt đối.