Sticky sessions dan rotasi IP: ID sesi, TTL, dan penggunaan ulang koneksi

Apa yang terjadi di gateway saat saya mengirimkan ID sesi?

Gateway membaca username pada setiap koneksi baru. Tanpa bagian sesi, gateway memilih exit proxy residensial yang sesuai dengan target Anda hanya untuk koneksi itu saja. Dengan bagian sesi, gateway mempertahankan exit yang sama untuk ID itu hingga TTL yang Anda tentukan.

IP lengket adalah koneksi rumah nyata, jadi bisa hilang sebelum TTL berakhir: perangkat dimatikan, kehilangan Wi-Fi, atau berganti jaringan. Alur panjang harus bisa bertahan dari hal ini dengan memeriksa IP exit pada titik pemeriksaan dan memulai ulang dari titik pemeriksaan tersebut, bukan gagal seluruh pekerjaan.

Bagaimana cara mengelola pool sesi lengket dalam Python?

Pool kecil mendistribusikan beban ke beberapa exit yang stabil dan pensiun setiap satu setelah sejumlah permintaan tertentu atau setelah tanda exitnya gagal, seperti 502 atau 503. Catat apa yang tidak dilakukannya: tidak menukar IP untuk melewati 403 atau 429. Itu berarti situs ingin Anda lambat, jadi pool meneruskannya ke kode Anda.

import random
import uuid

import requests

GATEWAY = "gw.crawlrelay.com:7777"
BASE_USER, PASSWORD = "USERNAME-country-us", "PASSWORD"


class SlowDown(Exception):
    """The target asked us to slow down (403 or 429): back off, do not rotate."""


class StickySession:
    def __init__(self, ttl=15, max_requests=50):
        self.id = uuid.uuid4().hex[:10]
        self.max_requests, self.used = max_requests, 0
        user = "%s-session-%s-ttl-%d" % (BASE_USER, self.id, ttl)
        proxy = "http://%s:%s@%s" % (user, PASSWORD, GATEWAY)
        self.http = requests.Session()
        self.http.proxies = {"http": proxy, "https": proxy}


class SessionPool:
    EXIT_PROBLEMS = {502, 503, 504}

    def __init__(self, size=5, **options):
        self.options = options
        self.sessions = [StickySession(**options) for _ in range(size)]

    def _replace(self, i):
        self.sessions[i].http.close()
        self.sessions[i] = StickySession(**self.options)

    def get(self, url, **kwargs):
        i = random.randrange(len(self.sessions))
        s = self.sessions[i]
        s.used += 1
        try:
            r = s.http.get(url, timeout=(10, 30), **kwargs)
        except requests.exceptions.RequestException:
            self._replace(i)  # dropped exit or timeout: start a fresh session
            raise
        if r.status_code in (403, 429):
            raise SlowDown("%s returned %d" % (url, r.status_code))
        if r.status_code in self.EXIT_PROBLEMS or s.used >= s.max_requests:
            self._replace(i)
        return r


pool = SessionPool(size=5, ttl=15, max_requests=50)
print(pool.get("https://api.ipify.org").text)

Bagaimana saya tahu IP lengket telah berubah?

Tanya. Minta layanan echo IP seperti https://api.ipify.org melalui sesi yang sama di awal alur dan di setiap checkpoint, lalu bandingkan jawabannya. Perubahan berarti exit di balik sesi berubah: mulai ulang alur dari checkpoint terakhir, atau buka sesi baru. Catat dengan ID sesi agar Anda bisa membedakan perubahan IP dari perilaku situs saat debugging.

Kesalahan sesi mana yang paling merugikan?

• Memutar pada setiap permintaan dalam alur multi-langkah. Situs melihat keranjang, cursor atau token pencarian berpindah antar negara dan mengatur ulang.
• Satu ID sesi untuk setiap pekerja. Sesi dimaksudkan untuk satu alur; berikan setiap pekerja dan alurnya ID sendiri.
• Sesi jauh lebih lama dari pekerjaan. TTL 30 menit untuk alur 2 menit membuat IP sibuk tanpa alasan dan membuat log sulit dibaca.
• Menganggap 429 sebagai masalah IP. IP baru tidak mengubah aturan situs; memperlambatlah yang mengubahnya. Lihat 429 Too Many Requests.
• Mengira rotasi per permintaan. Keep-alive mempertahankan exit; periksa tabel di atas untuk perpustakaan Anda.