API proxy di động 4G dân cư xoay vòng cho thu thập dữ liệu web

API proxy dân cư hoạt động thế nào?

Bạn gửi mọi yêu cầu đến một gateway, gateway sẽ chuyển tiếp qua một IP dân cư phù hợp với tên người dùng bạn đã gửi. Không có danh sách IP để tải về và không cần viết mã quay vòng.

1. Xác thực bằng tên người dùng và mật khẩu của gói hoặc của người dùng phụ, hoặc qua IP được phép.
2. Chọn exit bằng cách thêm tham số vào tên người dùng: -country-de, -city-berlin, hoặc cho Hoa Kỳ là -state-ny và -zip-10001; -asn-7922 chọn nhà cung cấp internet mà không mất phí thêm. Tính khả dụng theo thành phố thay đổi.
3. Chọn phiên làm việc: nếu không có session ID, mỗi kết nối mới lấy một IP từ pool, thường là khác nhau; -session-<id>-ttl-<minutes> giữ một IP đến 30 phút, dù IP có thể thay đổi sớm hơn.

Tên người dùng giống nhau dùng được trên cổng HTTP (7777) và cổng SOCKS5 (7778). Các trang HTTPS đi qua đường hầm CONNECT, nên TLS chạy giữa client và website.

import requests

GATEWAY = "gw.crawlrelay.com:7777"


def proxy(username, password):
    url = "http://%s:%s@%s" % (username, password, GATEWAY)
    return {"http": url, "https": url}


# Rotating: each new connection usually exits through a different residential IP in Germany
r = requests.get("https://api.ipify.org", proxies=proxy("USERNAME-country-de", "PASSWORD"), timeout=(10, 30))
print("rotating exit:", r.text)

# Sticky: the same IP for up to 30 minutes, across connections (it can change earlier)
sticky = proxy("USERNAME-country-de-city-berlin-session-crawl42-ttl-30", "PASSWORD")
for _ in range(3):
    print("sticky exit:", requests.get("https://api.ipify.org", proxies=sticky, timeout=(10, 30)).text)

Quay vòng hay sticky: scraper nên dùng phiên nào?

Quay vòng cho các trang độc lập; giữ sticky cho quy trình. Một crawler kéo hàng ngàn trang sản phẩm hoặc bài viết không liên quan nên mở kết nối mới mỗi trang, không dùng session ID, để tải trải đều qua nhiều IP dân cư. Một quy trình bước tiếp theo phụ thuộc bước trước, ví dụ phân trang với cursor gắn cookie, nên giữ session sticky cho đến khi kết thúc.

Quay vòng xảy ra mỗi kết nối mới, không theo yêu cầu HTTP. Client giữ kết nối luôn sử dụng exit giống nhau cho mọi yêu cầu trên kết nối đó. Hướng dẫn phiên chỉ cách kiểm soát điều này trên requests, httpx, Scrapy và Playwright.

Tỷ lệ thành công nên kỳ vọng là bao nhiêu với proxy dân cư?

Kỳ vọng tỷ lệ kết nối cao và tỷ lệ thành công thấp hơn với mục tiêu được bảo vệ, đồng thời đo cả hai. Proxyway's Proxy Market Research 2026 kiểm thử 13 nhà cung cấp: mạng dân cư trung bình trả lời 99.28% yêu cầu, nhưng chỉ 74.43% yêu cầu tới các mục tiêu thật như Amazon, Google và Instagram thành công.

Khoảng cách là do bộ lọc của mục tiêu, proxy không thể loại bỏ. Chúng tôi không công bố con số tỷ lệ thành công riêng cho đến khi đo bằng phương pháp rõ ràng. So sánh nhà cung cấp dựa trên chi phí mỗi yêu cầu thành công cho mục tiêu của bạn: chạy 1,000 URL giống nhau qua từng nhà, đếm phản hồi dùng được, và chia chi phí traffic cho số đó.

Proxy dân cư đến từ đâu?

Từ các mạng đối tác đã được thiết lập. CrawlRelay không vận hành mạng thiết bị riêng: họ bán lại IP từ các mạng đối tác cấp trên đã có uy tín. Nhà cung cấp cấp trên của chúng tôi xác nhận rằng chủ thiết bị đã đồng ý tham gia và có thể rút lui, và nguồn cung không đến từ các mạng bị thu giữ hoặc gián đoạn như NetNut hay IPIDEA. Đó là sự xác nhận của nhà cung cấp, không phải kiểm tra mà chúng tôi thực hiện trên mọi thiết bị; trang nguồn cung liệt kê các giới hạn đó. Việc thu giữ tháng 2026 cho thấy rủi ro: tháng 1 Google đã kiện các tên miền IPIDEA, và tháng 7 FBI cùng IRS-CI đã thu giữ tên miền NetNut, sau khi Google báo cáo thiết bị gia nhập các mạng này mà chủ sở hữu không hay biết. Hãy hỏi mọi nhà cung cấp, bao gồm cả chúng tôi, về nguồn gốc IP trước khi bạn xây dựng hệ thống trên đó.