Selenium met een geauthenticeerde proxy: een lokale forwarder die werkt

Hoe werkt de lokale forwarder?

Hij accepteert het proxyverzoek van de browser, voegt één header toe met jouw inloggegevens en kopieert vervolgens data in beide richtingen. Voor een HTTPS-site stuurt de browser CONNECT host:443, beantwoordt de gateway met 200 Connection established, en TLS loopt dan end-to-end tussen Chrome en de website. De forwarder ziet de pagina-inhoud nooit in platte tekst.

Deze minimale versie behandelt HTTPS-sites, waarbij elke verbinding één CONNECT-tunnel draagt. Dit dekt bijna iedere website tegenwoordig. Houd hem gebonden aan 127.0.0.1 zodat geen andere machine jouw inloggegevens kan gebruiken.

import asyncio
import base64
import os

UPSTREAM = ("gw.crawlrelay.com", 7777)
USER = os.environ.get("CRAWLRELAY_USER", "USERNAME-country-us")
PASSWORD = os.environ.get("CRAWLRELAY_PASSWORD", "PASSWORD")
AUTH = b"Proxy-Authorization: Basic " + base64.b64encode(("%s:%s" % (USER, PASSWORD)).encode())


async def pipe(reader, writer):
    try:
        while True:
            data = await reader.read(65536)
            if not data:
                break
            writer.write(data)
            await writer.drain()
    except ConnectionError:
        pass
    finally:
        writer.close()


async def handle(client_reader, client_writer):
    try:
        head = await client_reader.readuntil(b"\r\n\r\n")  # request line and headers from the browser
    except asyncio.IncompleteReadError:
        client_writer.close()
        return
    lines = head.split(b"\r\n")
    lines.insert(1, AUTH)  # add the credentials right after the request line
    up_reader, up_writer = await asyncio.open_connection(*UPSTREAM)
    up_writer.write(b"\r\n".join(lines))
    await up_writer.drain()
    await asyncio.gather(pipe(client_reader, up_writer), pipe(up_reader, client_writer))


async def main():
    server = await asyncio.start_server(handle, "127.0.0.1", 8899)
    async with server:
        await server.serve_forever()


if __name__ == "__main__":
    asyncio.run(main())

Hoe wijs ik Selenium toe aan de forwarder?

Start forwarder.py in een terminal en voer daarna je Selenium-script uit met het lokale proxyadres. Selenium Manager, ingebouwd in Selenium 4.6 en hoger, downloadt een passende ChromeDriver, dus er hoeft verder niets geïnstalleerd te worden.

from selenium import webdriver
from selenium.webdriver.common.by import By

options = webdriver.ChromeOptions()
options.add_argument("--proxy-server=http://127.0.0.1:8899")  # the local forwarder
options.add_argument("--headless=new")

driver = webdriver.Chrome(options=options)
try:
    driver.set_page_load_timeout(60)
    driver.get("https://api.ipify.org")
    print("exit IP:", driver.find_element(By.TAG_NAME, "body").text)
finally:
    driver.quit()

Hoe krijg ik één IP per Selenium-sessie, of een nieuw IP per pagina?

De forwarder stuurt wat jij als gebruikersnaam geeft, dus het sessiegedrag hangt af van die gebruikersnaam:

• Rotatie per verbinding: laat het sessie-deel weg (USERNAME-country-us). Chrome opent meerdere verbindingen per pagina, dus een enkele pagina kan via meerdere exit-IP’s laden.
• Één IP per Selenium-sessie: zet CRAWLRELAY_USER op USERNAME-country-us-session-run42-ttl-30 voordat je de forwarder start. Elke verbinding verloopt dan via hetzelfde IP tot 30 minuten; het IP kan ook eerder veranderen.
• Meerdere sessies parallel: start voor elke sessie een aparte forwarder op verschillende lokale poorten, bijvoorbeeld 8899 en 8900, en geef elke WebDriver zijn eigen poort.

Hoe zit het met selenium-wire of browserextensies?

selenium-wire, een populair pakket dat proxy-authenticatie toevoegde door verkeer te onderscheppen, is in januari 2024 door de auteur gearchiveerd en krijgt geen updates meer. Een browserextensie die proxy-authenticatie afhandelt werkt ook, maar moet verpakt worden en in elk profiel geladen worden. De hierboven genoemde forwarder heeft geen afhankelijkheden en werkt met elke browser die Selenium aanstuurt. Voor nieuwe projecten is Playwright nog eenvoudiger: die accepteert de proxygebruikersnaam en het wachtwoord direct.