Sticky oturumlar ve IP döndürme: oturum kimlikleri, TTL ve bağlantı tekrar kullanımı

Oturum kimliği gönderdiğimde ağ geçidinde ne olur?

Ağ geçidi her yeni bağlantıda kullanıcı adını okur. Oturum bölümü yoksa, sadece hedeflemenize uyan konut proxy çıkışı seçer. Oturum bölümü varsa, belirlediğiniz TTL süresi boyunca aynı kimlik için aynı çıkışı korur.

Yapışkan IP gerçek bir ev bağlantısıdır, bu yüzden TTL bitmeden kaybolabilir: cihaz kapatılır, Wi-Fi kaybeder veya ağ değiştirir. Uzun akışlar bunun üstesinden gelmeli; çıkış IP'sini kontrol noktalarında doğrulayıp tüm işi başarısız etmek yerine kontrol noktasından yeniden başlamalıdır.

Python'da yapışkan oturum havuzunu nasıl yönetirim?

Küçük bir havuz, yükü birkaç stabil çıkışa yayar ve her birini belirli bir istek sayısından sonra veya çıkışının başarısız olduğuna dair bir işaret (ör. 502 veya 503) gördüğünde pasif hale getirir. Yaptığı şey değil: 403 veya 429 hatasını aşmak için IP değiştirmez. Bunlar sitenin yavaşlamanızı istediği anlamına gelir, bu yüzden havuz bunları kodunuza iletir.

import random
import uuid

import requests

GATEWAY = "gw.crawlrelay.com:7777"
BASE_USER, PASSWORD = "USERNAME-country-us", "PASSWORD"


class SlowDown(Exception):
    """The target asked us to slow down (403 or 429): back off, do not rotate."""


class StickySession:
    def __init__(self, ttl=15, max_requests=50):
        self.id = uuid.uuid4().hex[:10]
        self.max_requests, self.used = max_requests, 0
        user = "%s-session-%s-ttl-%d" % (BASE_USER, self.id, ttl)
        proxy = "http://%s:%s@%s" % (user, PASSWORD, GATEWAY)
        self.http = requests.Session()
        self.http.proxies = {"http": proxy, "https": proxy}


class SessionPool:
    EXIT_PROBLEMS = {502, 503, 504}

    def __init__(self, size=5, **options):
        self.options = options
        self.sessions = [StickySession(**options) for _ in range(size)]

    def _replace(self, i):
        self.sessions[i].http.close()
        self.sessions[i] = StickySession(**self.options)

    def get(self, url, **kwargs):
        i = random.randrange(len(self.sessions))
        s = self.sessions[i]
        s.used += 1
        try:
            r = s.http.get(url, timeout=(10, 30), **kwargs)
        except requests.exceptions.RequestException:
            self._replace(i)  # dropped exit or timeout: start a fresh session
            raise
        if r.status_code in (403, 429):
            raise SlowDown("%s returned %d" % (url, r.status_code))
        if r.status_code in self.EXIT_PROBLEMS or s.used >= s.max_requests:
            self._replace(i)
        return r


pool = SessionPool(size=5, ttl=15, max_requests=50)
print(pool.get("https://api.ipify.org").text)

Bir yapışkan IP'nin değiştiğini nasıl anlarım?

Sor. Akışın başında ve her kontrol noktasında aynı oturum üzerinden https://api.ipify.org gibi bir IP yankı servisi isteğinde bulun ve yanıtları karşılaştır. Bir değişiklik, oturumun arkasındaki çıkışın değiştiği anlamına gelir: akışı son kontrol noktasından tekrar başlat veya yeni bir oturum aç. Bunu oturum kimliği ile kaydet, böylece hata ayıklarken IP değişikliklerini site davranışından ayırt edebilirsin.

Hangi oturum hataları en pahalıya patlar?

• Çok adımlı bir akışın her isteğinde döndürme. Site, bir alışveriş sepeti, imleç veya arama jetonunun ülkeler arasında atladığını görür ve sıfırlar.
• Her çalışan için bir oturum kimliği. Oturum, bir akış içindir; her çalışana ve her akışa kendi kimliğini ver.
• İşten çok daha uzun oturum süreleri. 2 dakikalık bir akış için 30 dakikalık TTL, bir IP'yi gereksiz yere meşgul eder ve logları okumayı zorlaştırır.
• 429'u IP sorunu olarak değerlendirmek. Yeni bir IP, sitenin kuralını değiştirmez; yavaşlamak değiştirir. Bkz 429 Too Many Requests].
• İstek başı döndürme varsaymak. Keep-alive çıkışı korur; kütüphanen için yukarıdaki tabloya bak.