Stałe sesje i rotacja IP: ID sesji, TTL i ponowne użycie połączenia

Co się dzieje na bramce, gdy wysyłam ID sesji?

Bramka odczytuje nazwę użytkownika przy każdym nowym połączeniu. Bez części sesji wybiera proxy rezydencjalne, które pasuje do Twojego targetowania tylko dla tego połączenia. Z częścią sesji utrzymuje ten sam exit dla tego ID przez ustalony przez Ciebie TTL.

Sticky IP to prawdziwe łącze domowe, które może zniknąć przed końcem TTL: urządzenie jest wyłączone, traci Wi-Fi lub zmienia sieć. Długie sesje muszą to przetrwać, sprawdzając IP wyjścia na checkpointach i restartując od checkpointu zamiast przerywać całe zadanie.

Jak zarządzać pulą sesji rezydencjalnych w Pythonie?

Mała pula rozkłada obciążenie na kilka stabilnych wyjść i wycofuje każde po określonej liczbie żądań lub po sygnale awarii wyjścia, np. 502 lub 503. Uwaga na to, czego nie robi: nie zmienia IP, by obejść 403 lub 429. To oznacza, że strona chce, byś zwolnił, więc pula przekazuje ich do twojego kodu.

import random
import uuid

import requests

GATEWAY = "gw.crawlrelay.com:7777"
BASE_USER, PASSWORD = "USERNAME-country-us", "PASSWORD"


class SlowDown(Exception):
    """The target asked us to slow down (403 or 429): back off, do not rotate."""


class StickySession:
    def __init__(self, ttl=15, max_requests=50):
        self.id = uuid.uuid4().hex[:10]
        self.max_requests, self.used = max_requests, 0
        user = "%s-session-%s-ttl-%d" % (BASE_USER, self.id, ttl)
        proxy = "http://%s:%s@%s" % (user, PASSWORD, GATEWAY)
        self.http = requests.Session()
        self.http.proxies = {"http": proxy, "https": proxy}


class SessionPool:
    EXIT_PROBLEMS = {502, 503, 504}

    def __init__(self, size=5, **options):
        self.options = options
        self.sessions = [StickySession(**options) for _ in range(size)]

    def _replace(self, i):
        self.sessions[i].http.close()
        self.sessions[i] = StickySession(**self.options)

    def get(self, url, **kwargs):
        i = random.randrange(len(self.sessions))
        s = self.sessions[i]
        s.used += 1
        try:
            r = s.http.get(url, timeout=(10, 30), **kwargs)
        except requests.exceptions.RequestException:
            self._replace(i)  # dropped exit or timeout: start a fresh session
            raise
        if r.status_code in (403, 429):
            raise SlowDown("%s returned %d" % (url, r.status_code))
        if r.status_code in self.EXIT_PROBLEMS or s.used >= s.max_requests:
            self._replace(i)
        return r


pool = SessionPool(size=5, ttl=15, max_requests=50)
print(pool.get("https://api.ipify.org").text)

Jak sprawdzić, czy zmieniło się IP w sesji rezydencjalnej?

Zapytaj. Wywołaj serwis echo IP, np. https://api.ipify.org przez tę samą sesję na początku i na każdym punkcie kontrolnym, porównaj odpowiedzi. Zmiana oznacza, że wyjście sesji się zmieniło: zacznij od ostatniego punktu kontrolnego lub otwórz nową sesję. Zaloguj to z ID sesji, aby rozróżnić zmiany IP od zachowania strony podczas debugowania.

Jakie błędy sesji kosztują najwięcej?

• Rotowanie przy każdym żądaniu wieloetapowego procesu. Strona widzi, jak koszyk, kursor lub token wyszukiwania skacze po krajach i resetuje go.
• Jedno ID sesji na każdego worker’a. Sesja jest na jeden flow; daj każdemu workerowi i flow własne ID.
• Sesje dużo dłuższe niż zadanie. TTL 30 minut dla 2-minutowego flow zajmuje IP na darmo i utrudnia czytanie logów.
• Traktowanie 429 jako problem IP. Nowe IP nie zmienia zasad serwisu; trzeba zwolnić. Zobacz 429 Too Many Requests.
• Zakładanie rotacji przy każdym żądaniu. Keep-alive utrzymuje wyjście; sprawdź tabelę powyżej dla swojej biblioteki.