Sticky sessions và xoay IP: session ID, TTL và tái sử dụng kết nối

Điều gì xảy ra ở cổng khi tôi gửi một session ID?

Cổng sẽ đọc tên người dùng trên mỗi kết nối mới. Nếu không có phần session, nó chọn một lối ra proxy dân cư khớp với mục tiêu của bạn cho kết nối đó. Nếu có phần session, nó giữ cùng một lối ra cho ID đó trong thời gian TTL bạn đặt.

Một IP dính là kết nối thật của hộ gia đình, vì vậy nó có thể biến mất trước khi TTL kết thúc: thiết bị tắt, mất Wi-Fi hoặc đổi mạng. Các luồng dài cần đảm bảo điều này bằng cách kiểm tra IP ra tại các điểm kiểm tra và khởi động lại từ điểm đó thay vì để toàn bộ công việc thất bại.

Làm thế nào để quản lý nhóm phiên dính trong Python?

Một nhóm nhỏ phân bổ tải trên vài đầu ra ổn định và nghỉ mỗi đầu ra sau một số yêu cầu nhất định hoặc sau dấu hiệu đầu ra đó không ổn định, như 502 hoặc 503. Lưu ý điều nó không làm: nó không đổi IP để vượt qua lỗi 403 hoặc 429. Những lỗi đó có nghĩa trang web muốn bạn giảm tốc, nên nhóm phiên báo lỗi đó lên code của bạn.

import random
import uuid

import requests

GATEWAY = "gw.crawlrelay.com:7777"
BASE_USER, PASSWORD = "USERNAME-country-us", "PASSWORD"


class SlowDown(Exception):
    """The target asked us to slow down (403 or 429): back off, do not rotate."""


class StickySession:
    def __init__(self, ttl=15, max_requests=50):
        self.id = uuid.uuid4().hex[:10]
        self.max_requests, self.used = max_requests, 0
        user = "%s-session-%s-ttl-%d" % (BASE_USER, self.id, ttl)
        proxy = "http://%s:%s@%s" % (user, PASSWORD, GATEWAY)
        self.http = requests.Session()
        self.http.proxies = {"http": proxy, "https": proxy}


class SessionPool:
    EXIT_PROBLEMS = {502, 503, 504}

    def __init__(self, size=5, **options):
        self.options = options
        self.sessions = [StickySession(**options) for _ in range(size)]

    def _replace(self, i):
        self.sessions[i].http.close()
        self.sessions[i] = StickySession(**self.options)

    def get(self, url, **kwargs):
        i = random.randrange(len(self.sessions))
        s = self.sessions[i]
        s.used += 1
        try:
            r = s.http.get(url, timeout=(10, 30), **kwargs)
        except requests.exceptions.RequestException:
            self._replace(i)  # dropped exit or timeout: start a fresh session
            raise
        if r.status_code in (403, 429):
            raise SlowDown("%s returned %d" % (url, r.status_code))
        if r.status_code in self.EXIT_PROBLEMS or s.used >= s.max_requests:
            self._replace(i)
        return r


pool = SessionPool(size=5, ttl=15, max_requests=50)
print(pool.get("https://api.ipify.org").text)

Làm sao biết IP dính đã đổi?

Hỏi. Gửi yêu cầu dịch vụ echo IP như https://api.ipify.org qua cùng phiên ở đầu luồng và mỗi điểm kiểm tra, so sánh kết quả. Nếu đổi nghĩa là đầu ra thay đổi: khởi động lại luồng từ điểm kiểm tra cuối hoặc mở phiên mới. Ghi lại cùng ID phiên để phân biệt thay đổi IP và hành vi trang khi bạn debug.

Những lỗi phiên nào gây tốn kém nhất?

• Xoay phiên mỗi yêu cầu trong luồng nhiều bước. Trang web thấy giỏ hàng, con trỏ hoặc token tìm kiếm từ quốc gia này sang quốc gia khác và đặt lại.
• Một ID phiên cho mỗi worker. Một phiên dùng cho một luồng; mỗi worker và luồng phải có ID riêng.
• Phiên quá dài so với công việc. TTL 30 phút cho luồng 2 phút khiến IP bị chiếm dụng vô ích, làm khó đọc log.
• Xử lý lỗi 429 là lỗi IP. IP mới không thay đổi luật trang web; chỉ có giảm tốc mới được. Xem 429 Too Many Requests.
• Giả định xoay phiên mỗi yêu cầu. Keep-alive giữ đầu ra; kiểm tra bảng trên cho thư viện bạn dùng.