Sticky sessions และการหมุน IP: รหัสเซสชัน, TTL และการใช้งานการเชื่อมต่อซ้ำ

เมื่อส่ง session ID ที่เกตเวย์จะเกิดอะไรขึ้น?

เกตเวย์จะอ่านชื่อผู้ใช้ในแต่ละการเชื่อมต่อใหม่ หากไม่มีส่วน session จะเลือกพร็อกซีเรซิเดนเชียลที่ตรงกับเป้าหมายของคุณสำหรับการเชื่อมต่อนั้นเท่านั้น หากมีส่วน session จะคงพร็อกซี exit เดิมสำหรับ ID นั้นตาม TTL ที่คุณตั้งไว้

พร็อกซี IP ติดหนึบคือการเชื่อมต่อจริงที่บ้าน จึงอาจตัดก่อนหมด TTL ได้ เช่น อุปกรณ์ปิด Wi-Fi หลุดหรือเปลี่ยนเครือข่าย งานที่ต่อเนื่องนานต้องจัดการโดยตรวจสอบ IP exit ที่จุดเช็กพอยต์และเริ่มใหม่จากจุดเช็กพอยต์แทนที่จะล้มทั้งงาน

ฉันจะจัดการพูลพร็อกซีเรซิเดนเชียลแบบติดหนึบใน Python อย่างไร?

พูลขนาดเล็กจะกระจายโหลดไปยังพร็อกซีเรซิเดนเชียลที่เสถียรไม่กี่อัน และเกษียณแต่ละอันหลังจากจำนวนคำขอที่กำหนดหรือหลังมีสัญญาณว่าการเชื่อมต่อล้มเหลว เช่น 502 หรือ 503 โปรดทราบว่ามันไม่ได้ทำสิ่งนี้: ไม่ได้สลับ IP เพื่อผ่าน 403 หรือ 429 เหล่านี้แปลว่าเว็บไซต์ต้องการให้คุณช้าลง ดังนั้นพูลจะส่งข้อความนั้นกลับไปยังโค้ดของคุณ

import random
import uuid

import requests

GATEWAY = "gw.crawlrelay.com:7777"
BASE_USER, PASSWORD = "USERNAME-country-us", "PASSWORD"


class SlowDown(Exception):
    """The target asked us to slow down (403 or 429): back off, do not rotate."""


class StickySession:
    def __init__(self, ttl=15, max_requests=50):
        self.id = uuid.uuid4().hex[:10]
        self.max_requests, self.used = max_requests, 0
        user = "%s-session-%s-ttl-%d" % (BASE_USER, self.id, ttl)
        proxy = "http://%s:%s@%s" % (user, PASSWORD, GATEWAY)
        self.http = requests.Session()
        self.http.proxies = {"http": proxy, "https": proxy}


class SessionPool:
    EXIT_PROBLEMS = {502, 503, 504}

    def __init__(self, size=5, **options):
        self.options = options
        self.sessions = [StickySession(**options) for _ in range(size)]

    def _replace(self, i):
        self.sessions[i].http.close()
        self.sessions[i] = StickySession(**self.options)

    def get(self, url, **kwargs):
        i = random.randrange(len(self.sessions))
        s = self.sessions[i]
        s.used += 1
        try:
            r = s.http.get(url, timeout=(10, 30), **kwargs)
        except requests.exceptions.RequestException:
            self._replace(i)  # dropped exit or timeout: start a fresh session
            raise
        if r.status_code in (403, 429):
            raise SlowDown("%s returned %d" % (url, r.status_code))
        if r.status_code in self.EXIT_PROBLEMS or s.used >= s.max_requests:
            self._replace(i)
        return r


pool = SessionPool(size=5, ttl=15, max_requests=50)
print(pool.get("https://api.ipify.org").text)

ฉันจะรู้ได้อย่างไรว่าพร็อกซีที่ติดหนึบเปลี่ยนหรือไม่?

ถาม การขอบริการสะท้อน IP เช่น https://api.ipify.org ผ่านเซสชันเดียวกันในจุดเริ่มต้นของกระบวนการและทุกจุดตรวจสอบแล้วเปรียบเทียบคำตอบ การเปลี่ยนแปลว่าพร็อกซีที่อยู่ข้างหลังเซสชันเปลี่ยนไป: เริ่มต้นใหม่จากจุดตรวจสอบล่าสุด หรือเปิดเซสชันใหม่ บันทึกไว้พร้อม session ID เพื่อแยกความแตกต่างระหว่างการเปลี่ยน IP กับพฤติกรรมเว็บไซต์ตอนดีบัก

ข้อผิดพลาดของเซสชันแบบไหนที่มีค่าใช้จ่ายมากที่สุด?

• หมุนทุกคำขอของกระบวนการหลายขั้นตอน. เว็บไซต์จะเห็นตะกร้า, เคอร์เซอร์ หรือโทเคนการค้นหากระโดดไปมาระหว่างประเทศและรีเซ็ตมัน
• เซสชัน ID หนึ่งอันสำหรับทุกคนทำงาน. เซสชันถูกออกแบบให้สำหรับกระบวนการหนึ่งชุด จึงต้องให้แต่ละคนและแต่ละกระบวนการมี ID เอง
• เซสชันยาวเกินกว่างาน. TTL 30 นาทีสำหรับกระบวนการ 2 นาทีทำให้ IP ถูกใช้โดยเปล่าประโยชน์และทำให้บันทึกลำบากขึ้น
• มอง 429 เป็นปัญหา IP. IP ใหม่ไม่ได้เปลี่ยนกฎของเว็บไซต์; ต้องชะลอแทน ดู 429 Too Many Requests.
• สมมติว่าหมุนเปลี่ยนทุกคำขอ. keep-alive ช่วยรักษาการเชื่อมต่อไว้; ดูตารางข้างบนสำหรับไลบรารีของคุณ