Selenium con proxy autenticado: un servicio local que funciona

¿Cómo funciona el forwarder local?

Acepta la solicitud de proxy del navegador, inserta un encabezado con tus credenciales y luego copia bytes en ambas direcciones. Para un sitio HTTPS, el navegador envía CONNECT host:443, la puerta de enlace responde 200 Connection established, y TLS se ejecuta de extremo a extremo entre Chrome y el sitio web. El forwarder nunca ve el contenido de la página en texto plano.

Esta versión mínima maneja sitios HTTPS, donde cada conexión lleva un túnel CONNECT. Eso cubre casi todos los sitios web hoy en día. Manténlo ligado a 127.0.0.1 para que ninguna otra máquina pueda usar tus credenciales.

import asyncio
import base64
import os

UPSTREAM = ("gw.crawlrelay.com", 7777)
USER = os.environ.get("CRAWLRELAY_USER", "USERNAME-country-us")
PASSWORD = os.environ.get("CRAWLRELAY_PASSWORD", "PASSWORD")
AUTH = b"Proxy-Authorization: Basic " + base64.b64encode(("%s:%s" % (USER, PASSWORD)).encode())


async def pipe(reader, writer):
    try:
        while True:
            data = await reader.read(65536)
            if not data:
                break
            writer.write(data)
            await writer.drain()
    except ConnectionError:
        pass
    finally:
        writer.close()


async def handle(client_reader, client_writer):
    try:
        head = await client_reader.readuntil(b"\r\n\r\n")  # request line and headers from the browser
    except asyncio.IncompleteReadError:
        client_writer.close()
        return
    lines = head.split(b"\r\n")
    lines.insert(1, AUTH)  # add the credentials right after the request line
    up_reader, up_writer = await asyncio.open_connection(*UPSTREAM)
    up_writer.write(b"\r\n".join(lines))
    await up_writer.drain()
    await asyncio.gather(pipe(client_reader, up_writer), pipe(up_reader, client_writer))


async def main():
    server = await asyncio.start_server(handle, "127.0.0.1", 8899)
    async with server:
        await server.serve_forever()


if __name__ == "__main__":
    asyncio.run(main())

¿Cómo apunto Selenium al forwarder?

Inicia forwarder.py en un terminal, luego ejecuta tu script Selenium con la dirección del proxy local. Selenium Manager, incluido en Selenium 4.6 y versiones posteriores, descarga un ChromeDriver compatible, así que no necesitas instalar nada más.

from selenium import webdriver
from selenium.webdriver.common.by import By

options = webdriver.ChromeOptions()
options.add_argument("--proxy-server=http://127.0.0.1:8899")  # the local forwarder
options.add_argument("--headless=new")

driver = webdriver.Chrome(options=options)
try:
    driver.set_page_load_timeout(60)
    driver.get("https://api.ipify.org")
    print("exit IP:", driver.find_element(By.TAG_NAME, "body").text)
finally:
    driver.quit()

¿Cómo obtengo una IP por sesión de Selenium, o una IP nueva por página?

El forwarder envía el nombre de usuario que le des, así que el comportamiento de la sesión depende de ese usuario:

• Rotación por conexión: omite la parte de sesión (USERNAME-country-us). Chrome abre varias conexiones por página, así que una sola página puede cargar a través de varias salidas.
• Una IP por sesión de Selenium: asigna CRAWLRELAY_USER a USERNAME-country-us-session-run42-ttl-30 antes de iniciar el forwarder. Cada conexión entonces sale por la misma IP hasta por 30 minutos; la IP puede cambiar antes.
• Varias sesiones en paralelo: ejecuta un forwarder por sesión en diferentes puertos locales, como 8899 y 8900, y da a cada WebDriver su propio puerto.

¿Qué pasa con selenium-wire o extensiones de navegador?

selenium-wire, un paquete popular que añadía autenticación de proxy interceptando el tráfico, fue archivado por su autor en enero de 2024 y ya no recibe actualizaciones. Una extensión de navegador que responda a la solicitud de autenticación del proxy también funciona, pero debe estar empaquetada y cargada en cada perfil. El forwarder anterior no tiene dependencias y funciona con cualquier navegador que controle Selenium. Para proyectos nuevos, Playwright es aún más sencillo: toma directamente el nombre de usuario y la contraseña del proxy.