Selenium z uwierzytelnionym proxy: lokalny forwarder, który działa

Jak działa lokalny forwarder?

Akceptuje żądanie proxy z przeglądarki, wstawia jeden nagłówek z Twoimi danymi uwierzytelniającymi, a następnie kopiuje bajty w obu kierunkach. Dla strony HTTPS przeglądarka wysyła CONNECT host:443, brama odpowiada 200 Connection established, a TLS działa end to end między Chrome a witryną. Forwarder nigdy nie widzi treści strony w postaci niezaszyfrowanej.

Ta minimalna wersja obsługuje strony HTTPS, gdzie każde połączenie nosi jeden tunel CONNECT. To obejmuje dziś niemal każdą stronę. Trzymaj go powiązanego z 127.0.0.1, aby żaden inny komputer nie mógł używać Twoich danych.

import asyncio
import base64
import os

UPSTREAM = ("gw.crawlrelay.com", 7777)
USER = os.environ.get("CRAWLRELAY_USER", "USERNAME-country-us")
PASSWORD = os.environ.get("CRAWLRELAY_PASSWORD", "PASSWORD")
AUTH = b"Proxy-Authorization: Basic " + base64.b64encode(("%s:%s" % (USER, PASSWORD)).encode())


async def pipe(reader, writer):
    try:
        while True:
            data = await reader.read(65536)
            if not data:
                break
            writer.write(data)
            await writer.drain()
    except ConnectionError:
        pass
    finally:
        writer.close()


async def handle(client_reader, client_writer):
    try:
        head = await client_reader.readuntil(b"\r\n\r\n")  # request line and headers from the browser
    except asyncio.IncompleteReadError:
        client_writer.close()
        return
    lines = head.split(b"\r\n")
    lines.insert(1, AUTH)  # add the credentials right after the request line
    up_reader, up_writer = await asyncio.open_connection(*UPSTREAM)
    up_writer.write(b"\r\n".join(lines))
    await up_writer.drain()
    await asyncio.gather(pipe(client_reader, up_writer), pipe(up_reader, client_writer))


async def main():
    server = await asyncio.start_server(handle, "127.0.0.1", 8899)
    async with server:
        await server.serve_forever()


if __name__ == "__main__":
    asyncio.run(main())

Jak skierować Selenium na forwarder?

Uruchom forwarder.py w jednym terminalu, potem uruchom swój skrypt Selenium z lokalnym adresem proxy. Selenium Manager, wbudowany w Selenium 4.6 i nowsze, pobiera odpowiedni ChromeDriver, więc nic więcej nie trzeba instalować.

from selenium import webdriver
from selenium.webdriver.common.by import By

options = webdriver.ChromeOptions()
options.add_argument("--proxy-server=http://127.0.0.1:8899")  # the local forwarder
options.add_argument("--headless=new")

driver = webdriver.Chrome(options=options)
try:
    driver.set_page_load_timeout(60)
    driver.get("https://api.ipify.org")
    print("exit IP:", driver.find_element(By.TAG_NAME, "body").text)
finally:
    driver.quit()

Jak uzyskać jedno IP na sesję Selenium lub nowe IP na każdą stronę?

Forwarder wysyła dowolną nazwę użytkownika, jaką mu podasz, więc zachowanie sesji zależy od tej nazwy:

• Rotacja przy każdym połączeniu: pomiń część dotyczącą sesji (USERNAME-country-us). Chrome otwiera kilka połączeń na stronę, więc jedna strona może ładować się przez kilka wyjść.
• Jedno IP na sesję Selenium: ustaw CRAWLRELAY_USER na USERNAME-country-us-session-run42-ttl-30 przed startem forwardera. Każde połączenie wychodzi przez to samo IP do 30 minut; IP może się zmienić wcześniej.
• Kilka sesji równocześnie: uruchom jeden forwarder na sesję na różnych lokalnych portach, np. 8899 i 8900, i daj każdemu WebDriver swój port.

A co z selenium-wire lub dodatkami do przeglądarki?

selenium-wire, popularny pakiet, który dodawał uwierzytelnianie proxy przez przechwytywanie ruchu, został archiwizowany przez autora w styczniu 2024 i nie otrzymuje aktualizacji. Dodatek do przeglądarki, który odpowiada na żądanie uwierzytelnienia proxy, też działa, ale musi być zapakowany i załadowany do każdego profilu. Powyższy forwarder nie ma zależności i działa z dowolną przeglądarką sterowaną przez Selenium. W nowych projektach Playwright jest jeszcze prostszy: pobiera nazwę użytkownika i hasło proxy bezpośrednio.