Proxy di động 4G/5G xoay vòng để thu thập dữ liệu các mục tiêu khó

Tại sao các trang web ít khi chặn IP di động hơn?

Bởi vì một IP di động thường đại diện cho nhiều người thật. Các nhà mạng vận hành carrier-grade NAT: hàng ngàn điện thoại chia sẻ một tập hợp địa chỉ công cộng nhỏ, và RFC 6598 còn dành riêng dải 100.64.0.0/10 cho bên trong các mạng này. Một trang web chặn một IP di động có thể khóa tất cả thuê bao phía sau, nên hầu hết trang web đều chặn dải IP di động rất cẩn thận.

Việc chia sẻ này có chi phí với bạn. Một IP di động có thể mang theo lịch sử do người dùng khác của nhà mạng tạo ra, và tốc độ của nó phụ thuộc vào tín hiệu và tải cell. Đó là lý do lưu lượng di động là công cụ cho các mục tiêu cụ thể, không phải mặc định.

Proxy di động 4G có đáng với giá cao hơn mỗi GB không?

Chỉ khi proxy dân cư không đủ. Lưu lượng proxy dân cư CrawlRelay có giá 0,50 US$/GB từ 50 GB; lưu lượng di động giá 1,50 US$/GB. Theo Nghiên cứu Thị trường Proxy Proxyway 2026, tỷ lệ thành công trung vị trên các mục tiêu thực là 75,26% với proxy di động và 74,43% với proxy dân cư: trung bình, di động không hơn đáng kể.

Lợi ích phụ thuộc mục tiêu cụ thể. Hãy đo lường trước khi trả tiền:

1. Chạy 200 đến 500 URL của một mục tiêu qua proxy dân cư và proxy di động.
2. Đếm các phản hồi sử dụng được, không phải HTTP 200 vì trang chặn cũng trả 200.
3. Chia chi phí lưu lượng mỗi lần chạy cho số phản hồi sử dụng được.
4. Chuyển miền qua di động chỉ khi chi phí mỗi phản hồi sử dụng thấp hơn.

Làm sao để chuyển một số miền qua IP di động?

Giữ hai bộ thông tin đăng nhập, một cho mỗi gói, và chọn theo yêu cầu. Phần còn lại của trình quét vẫn giữ nguyên: cùng gateway, cú pháp tên đăng nhập, và logic thử lại.

from urllib.parse import urlsplit

import requests

GATEWAY = "gw.crawlrelay.com:7777"
RESIDENTIAL = ("RES_USERNAME-country-us", "RES_PASSWORD")
MOBILE = ("MOB_USERNAME-country-us", "MOB_PASSWORD")
MOBILE_HOSTS = {"m.example.com", "app.example.org"}  # hosts where residential measured worse


def proxies_for(url):
    user, password = MOBILE if urlsplit(url).hostname in MOBILE_HOSTS else RESIDENTIAL
    proxy = "http://%s:%s@%s" % (user, password, GATEWAY)
    return {"http": proxy, "https": proxy}


for url in ["https://www.example.com/item/1", "https://m.example.com/item/1"]:
    r = requests.get(url, proxies=proxies_for(url), timeout=(10, 45))
    print(url, r.status_code, len(r.content))

Cơ chế xoay IP trong pool proxy di động hoạt động thế nào?

Tương tự như proxy dân cư: tên đăng nhập không có session ID sẽ nhận IP nhà mạng mới cho mỗi kết nối, và -session-<id>-ttl-<minutes> giữ một IP xuyên suốt các kết nối. Có hai điểm khác biệt quan trọng trong thực tế:

• Các nhà mạng tự động thay đổi IP. Một phiên di động giữ IP có thể mất IP sớm hơn TTL khi thiết bị kết nối lại mạng.
• Độ trễ thay đổi nhiều hơn. Cấp cho các yêu cầu di động thời gian chờ đọc dài hơn, khoảng 45 đến 60 giây, và thử lại trên kết nối mới thay vì đợi lâu hơn.