Selenium avec un proxy authentifié : un forwarder local qui fonctionne

Comment fonctionne le proxy local ?

Il accepte la requête proxy du navigateur, insère un en-tête avec vos identifiants, puis copie les données dans les deux sens. Pour un site HTTPS, le navigateur envoie CONNECT host:443, la passerelle répond 200 Connection established, et TLS s’exécute de bout en bout entre Chrome et le site. Le proxy local ne voit jamais le contenu de la page en clair.

Cette version minimale gère les sites HTTPS, où chaque connexion porte un tunnel CONNECT. Cela couvre presque tous les sites web aujourd’hui. Gardez-le lié à 127.0.0.1 pour qu’aucune autre machine ne puisse utiliser vos identifiants.

import asyncio
import base64
import os

UPSTREAM = ("gw.crawlrelay.com", 7777)
USER = os.environ.get("CRAWLRELAY_USER", "USERNAME-country-us")
PASSWORD = os.environ.get("CRAWLRELAY_PASSWORD", "PASSWORD")
AUTH = b"Proxy-Authorization: Basic " + base64.b64encode(("%s:%s" % (USER, PASSWORD)).encode())


async def pipe(reader, writer):
    try:
        while True:
            data = await reader.read(65536)
            if not data:
                break
            writer.write(data)
            await writer.drain()
    except ConnectionError:
        pass
    finally:
        writer.close()


async def handle(client_reader, client_writer):
    try:
        head = await client_reader.readuntil(b"\r\n\r\n")  # request line and headers from the browser
    except asyncio.IncompleteReadError:
        client_writer.close()
        return
    lines = head.split(b"\r\n")
    lines.insert(1, AUTH)  # add the credentials right after the request line
    up_reader, up_writer = await asyncio.open_connection(*UPSTREAM)
    up_writer.write(b"\r\n".join(lines))
    await up_writer.drain()
    await asyncio.gather(pipe(client_reader, up_writer), pipe(up_reader, client_writer))


async def main():
    server = await asyncio.start_server(handle, "127.0.0.1", 8899)
    async with server:
        await server.serve_forever()


if __name__ == "__main__":
    asyncio.run(main())

Comment configurer Selenium pour utiliser le proxy local ?

Démarrez forwarder.py dans un terminal, puis lancez votre script Selenium avec l’adresse proxy locale. Selenium Manager, intégré à Selenium 4.6 et versions supérieures, télécharge automatiquement un ChromeDriver compatible, donc rien d’autre à installer.

from selenium import webdriver
from selenium.webdriver.common.by import By

options = webdriver.ChromeOptions()
options.add_argument("--proxy-server=http://127.0.0.1:8899")  # the local forwarder
options.add_argument("--headless=new")

driver = webdriver.Chrome(options=options)
try:
    driver.set_page_load_timeout(60)
    driver.get("https://api.ipify.org")
    print("exit IP:", driver.find_element(By.TAG_NAME, "body").text)
finally:
    driver.quit()

Comment obtenir une IP par session Selenium, ou une IP nouvelle par page ?

Le proxy local envoie l’identifiant que vous lui donnez, donc le comportement de la session dépend de cet identifiant :

• Rotation par connexion : omettez la partie session (USERNAME-country-us). Chrome ouvre plusieurs connexions par page, donc une page peut charger via plusieurs sorties.
• Une IP par session Selenium : définissez CRAWLRELAY_USER à USERNAME-country-us-session-run42-ttl-30 avant de démarrer le proxy local. Chaque connexion utilise alors la même IP pendant 30 minutes maximum ; l’IP peut changer plus tôt.
• Plusieurs sessions en parallèle : lancez un proxy local par session sur des ports locaux différents, par exemple 8899 et 8900, et donnez à chaque WebDriver son port dédié.

Qu’en est-il de selenium-wire ou des extensions navigateur ?

selenium-wire, un package populaire qui ajoutait l’authentification proxy en interceptant le trafic, a été archivé par son auteur en janvier 2024 et ne reçoit plus de mises à jour. Une extension navigateur répondant à la demande d’authentification proxy fonctionne aussi, mais doit être empaquetée et chargée dans chaque profil. Le proxy local ci-dessus est sans dépendances et marche avec n’importe quel navigateur piloté par Selenium. Pour les nouveaux projets, Playwright est encore plus simple : il prend directement le nom d’utilisateur et le mot de passe du proxy.