Sticky Sessions & IP Rotation: Session-IDs, TTL und Verbindungswiederverwendung

Was passiert am Gateway, wenn ich eine Session-ID sende?

Das Gateway liest bei jeder neuen Verbindung den Benutzernamen. Ohne Session-Teil wählt es für diese Verbindung nur einen Residential Proxy-Ausgang, der Ihrer Zielsetzung entspricht. Mit Session-Teil behält es denselben Residential Proxy-Ausgang für diese ID für die von Ihnen festgelegte TTL bei.

Eine Sticky-IP ist eine echte Haushaltsverbindung, sie kann also vor Ablauf der TTL verschwinden: Das Gerät wird ausgeschaltet, verliert das WLAN oder wechselt das Netz. Lange Flows müssen das aushalten, indem sie die Ausgangs-IP an Checkpoints prüfen und im Fehlerfall ab einem Checkpoint neu starten, anstatt den gesamten Job abzubrechen.

Wie verwalte ich einen Pool von sticky Sessions in Python?

Ein kleiner Pool verteilt die Last auf einige stabile Residential-Proxys und schließt jeden nach einer bestimmten Anzahl von Anfragen oder bei Anzeichen eines Ausfalls wie 502 oder 503 aus. Wichtig: Er wechselt die IPs nicht, um an einem 403 oder 429 vorbeizukommen. Das bedeutet, dass die Seite ein verlangsamtes Tempo möchte, daher hebt der Pool diese Codes an deinen Code weiter.

import random
import uuid

import requests

GATEWAY = "gw.crawlrelay.com:7777"
BASE_USER, PASSWORD = "USERNAME-country-us", "PASSWORD"


class SlowDown(Exception):
    """The target asked us to slow down (403 or 429): back off, do not rotate."""


class StickySession:
    def __init__(self, ttl=15, max_requests=50):
        self.id = uuid.uuid4().hex[:10]
        self.max_requests, self.used = max_requests, 0
        user = "%s-session-%s-ttl-%d" % (BASE_USER, self.id, ttl)
        proxy = "http://%s:%s@%s" % (user, PASSWORD, GATEWAY)
        self.http = requests.Session()
        self.http.proxies = {"http": proxy, "https": proxy}


class SessionPool:
    EXIT_PROBLEMS = {502, 503, 504}

    def __init__(self, size=5, **options):
        self.options = options
        self.sessions = [StickySession(**options) for _ in range(size)]

    def _replace(self, i):
        self.sessions[i].http.close()
        self.sessions[i] = StickySession(**self.options)

    def get(self, url, **kwargs):
        i = random.randrange(len(self.sessions))
        s = self.sessions[i]
        s.used += 1
        try:
            r = s.http.get(url, timeout=(10, 30), **kwargs)
        except requests.exceptions.RequestException:
            self._replace(i)  # dropped exit or timeout: start a fresh session
            raise
        if r.status_code in (403, 429):
            raise SlowDown("%s returned %d" % (url, r.status_code))
        if r.status_code in self.EXIT_PROBLEMS or s.used >= s.max_requests:
            self._replace(i)
        return r


pool = SessionPool(size=5, ttl=15, max_requests=50)
print(pool.get("https://api.ipify.org").text)

Wie erkenne ich, dass sich eine sticky IP geändert hat?

Frage nach. Fordere einen IP-Echo-Service wie https://api.ipify.org über dieselbe Session am Anfang und an jedem Checkpoint an und vergleiche die Antworten. Eine Änderung bedeutet, dass der Ausgang hinter der Session gewechselt hat: Starte den Flow vom letzten Checkpoint neu oder öffne eine neue Session. Protokolliere das mit der Session-ID, um IP-Wechsel von Seitenverhalten beim Debuggen zu unterscheiden.

Welche Session-Fehler kosten am meisten?

• Rotation bei jeder Anfrage eines mehrstufigen Flows. Die Seite sieht einen Warenkorb, Cursor oder Such-Token zwischen Ländern springen und setzt es zurück.
• Eine Session-ID für jeden Worker. Eine Session ist für einen Flow gedacht; gib jedem Worker und Flow eine eigene ID.
• Sessions viel zu lang für die Aufgabe. Eine TTL von 30 Minuten für einen 2-minütigen Flow bindet eine IP unnötig und erschwert das Loglesen.
• 429 als IP-Problem behandeln. Eine neue IP ändert die Seitenregel nicht; langsamer machen schon. Siehe 429 Too Many Requests.
• Annahme von Rotation pro Anfrage. Keep-alive hält den Ausgang; prüfe die obige Tabelle für deine Library.