Puppeteer proxy authenticatie met residentiële en mobiele IP's

Hoe stel ik een enkele geauthenticeerde proxy in?

Dit is het minimale patroon. Het try … finally blok sluit Chrome zelfs als een navigatie mislukt, wat belangrijk is op servers waar verweesde browsers zich opstapelen.

import puppeteer from "puppeteer";

const browser = await puppeteer.launch({
  args: ["--proxy-server=http://gw.crawlrelay.com:7777"],
});
try {
  const page = await browser.newPage();
  await page.authenticate({ username: "USERNAME-country-us", password: "PASSWORD" });
  await page.setRequestInterception(true);
  page.on("request", (req) =>
    ["image", "font", "media"].includes(req.resourceType()) ? req.abort() : req.continue()
  );
  const res = await page.goto("https://example.com/", { waitUntil: "domcontentloaded", timeout: 60000 });
  console.log(res.status(), await page.title());
} finally {
  await browser.close();
}

Hoe start ik meerdere sessies of landen in één browser?

Maak één browsercontext per sessie. Een context is een geïsoleerd profiel met eigen cookies, cache en netwerkstatus, dus de credentials die je aan een context geeft lekken niet naar een andere. Geef elke context een gebruikersnaam met een eigen land of sessie-ID.

import puppeteer from "puppeteer";
import { randomUUID } from "node:crypto";

const GATEWAY = "http://gw.crawlrelay.com:7777";
const browser = await puppeteer.launch();

async function visit(country, url) {
  const session = randomUUID().replaceAll("-", "").slice(0, 10);
  const context = await browser.createBrowserContext({ proxyServer: GATEWAY });
  try {
    const page = await context.newPage();
    await page.authenticate({
      username: `USERNAME-country-${country}-session-${session}-ttl-20`,
      password: "PASSWORD",
    });
    await page.goto(url, { waitUntil: "domcontentloaded", timeout: 60000 });
    return { country, session, ip: await page.evaluate(() => document.body.innerText.trim()) };
  } finally {
    await context.close();
  }
}

try {
  const results = await Promise.all([
    visit("us", "https://api.ipify.org"),
    visit("gb", "https://api.ipify.org"),
  ]);
  console.table(results);
} finally {
  await browser.close();
}

Waarom toont Puppeteer een 407 of ERR_TUNNEL_CONNECTION_FAILED?

Omdat Chrome geen credentials stuurde, of de verkeerde. Controleer drie dingen:

1. page.authenticate() wordt uitgevoerd vóór de eerste goto op die pagina.
2. De --proxy-server vlag of proxyServer bevat alleen het schema, host en poort, zonder user:pass@ deel.
3. De gebruikersnaam heeft geen typefout in het doelgedeelte: test het eerst met curl, zoals getoond op de 407 pagina.

Als curl slaagt met dezelfde gebruikersnaam en wachtwoord maar Puppeteer faalt nog steeds, lees dan ERR_TUNNEL_CONNECTION_FAILED.

Hoeveel verkeer kost een Puppeteer pagina?

Alles wat Chrome downloadt wordt gefactureerd: de HTML, scripts, styles, afbeeldingen, fonts en de API-aanroepen die de pagina doet. The HTTP Archive Web Almanac 2025 mat een mediane paginagrootte van 2.164 KB mobiel en 2.412 KB desktop. Het blokkeren van afbeeldingen, fonts en media met request-interceptie verlaagt dat meestal tot een paar honderd kilobytes, en het teruggeven van cachede responses voor herhaalde scripts drukt het nog verder. Gebruik roterende mobiele IP's alleen voor de pagina's die ze nodig hebben: mobiel verkeer kost US$ 1,50/GB vanaf 5 GB, residentieel US$ 0,50/GB vanaf 50 GB.