Selenium dengan proxy terautentikasi: forwarder lokal yang bekerja

Bagaimana cara kerja forwarder lokal?

Forwarder menerima permintaan proxy dari browser, menyisipkan satu header dengan kredensial Anda, lalu menyalin byte ke kedua arah. Untuk situs HTTPS, browser mengirim CONNECT host:443, gateway menjawab 200 Connection established, dan TLS berjalan langsung antara Chrome dan situs web. Forwarder tidak pernah melihat isi halaman dalam teks jelas.

Versi minimal ini menangani situs HTTPS, di mana setiap koneksi membawa satu tunnel CONNECT. Ini mencakup hampir setiap situs web saat ini. Tetap jalankan bound di 127.0.0.1 agar tidak ada mesin lain yang bisa menggunakan kredensial Anda.

import asyncio
import base64
import os

UPSTREAM = ("gw.crawlrelay.com", 7777)
USER = os.environ.get("CRAWLRELAY_USER", "USERNAME-country-us")
PASSWORD = os.environ.get("CRAWLRELAY_PASSWORD", "PASSWORD")
AUTH = b"Proxy-Authorization: Basic " + base64.b64encode(("%s:%s" % (USER, PASSWORD)).encode())


async def pipe(reader, writer):
    try:
        while True:
            data = await reader.read(65536)
            if not data:
                break
            writer.write(data)
            await writer.drain()
    except ConnectionError:
        pass
    finally:
        writer.close()


async def handle(client_reader, client_writer):
    try:
        head = await client_reader.readuntil(b"\r\n\r\n")  # request line and headers from the browser
    except asyncio.IncompleteReadError:
        client_writer.close()
        return
    lines = head.split(b"\r\n")
    lines.insert(1, AUTH)  # add the credentials right after the request line
    up_reader, up_writer = await asyncio.open_connection(*UPSTREAM)
    up_writer.write(b"\r\n".join(lines))
    await up_writer.drain()
    await asyncio.gather(pipe(client_reader, up_writer), pipe(up_reader, client_writer))


async def main():
    server = await asyncio.start_server(handle, "127.0.0.1", 8899)
    async with server:
        await server.serve_forever()


if __name__ == "__main__":
    asyncio.run(main())

Bagaimana cara mengarahkan Selenium ke forwarder?

Mulai forwarder.py di satu terminal, kemudian jalankan skrip Selenium Anda dengan alamat proxy lokal. Selenium Manager, bawaan dari Selenium 4.6 dan seterusnya, mengunduh ChromeDriver yang sesuai, sehingga tidak perlu instalasi tambahan.

from selenium import webdriver
from selenium.webdriver.common.by import By

options = webdriver.ChromeOptions()
options.add_argument("--proxy-server=http://127.0.0.1:8899")  # the local forwarder
options.add_argument("--headless=new")

driver = webdriver.Chrome(options=options)
try:
    driver.set_page_load_timeout(60)
    driver.get("https://api.ipify.org")
    print("exit IP:", driver.find_element(By.TAG_NAME, "body").text)
finally:
    driver.quit()

Bagaimana saya mendapatkan satu IP per sesi Selenium, atau IP baru per halaman?

Forwarder mengirimkan username apa pun yang Anda berikan, sehingga perilaku sesi tergantung pada username tersebut:

• Rotasi per koneksi: kosongkan bagian sesi (USERNAME-country-us). Chrome membuka beberapa koneksi per halaman, sehingga satu halaman dapat dimuat melalui beberapa exit.
• Satu IP per sesi Selenium: setel CRAWLRELAY_USER ke USERNAME-country-us-session-run42-ttl-30 sebelum memulai forwarder. Setiap koneksi keluar melalui IP yang sama hingga 30 menit; IP bisa berubah lebih awal.
• Beberapa sesi paralel: jalankan satu forwarder per sesi di port lokal yang berbeda, seperti 8899 dan 8900, dan berikan setiap WebDriver portnya sendiri.

Bagaimana dengan selenium-wire atau ekstensi browser?

selenium-wire, paket populer yang menambahkan autentikasi proxy dengan mencegat trafik, diarsipkan oleh pembuatnya pada Januari 2024 dan tidak menerima pembaruan. Ekstensi browser yang menjawab permintaan autentikasi proxy juga berfungsi, tetapi harus dikemas dan dimuat di setiap profil. Forwarder di atas tidak punya dependensi dan bekerja dengan browser manapun yang dikendalikan Selenium. Untuk proyek baru, Playwright lebih sederhana lagi: langsung menerima username dan kata sandi proxy.