Uwierzytelnianie proxy Puppeteer z proxy rezydencjalnymi i mobilnymi proxy 4G

Jak skonfigurować pojedyncze uwierzytelnione proxy?

To jest minimalny wzorzec. Blok try … finally zamyka Chrome nawet gdy nawigacja się nie powiedzie, co ma znaczenie na serwerach z porzuconymi procesami przeglądarek.

import puppeteer from "puppeteer";

const browser = await puppeteer.launch({
  args: ["--proxy-server=http://gw.crawlrelay.com:7777"],
});
try {
  const page = await browser.newPage();
  await page.authenticate({ username: "USERNAME-country-us", password: "PASSWORD" });
  await page.setRequestInterception(true);
  page.on("request", (req) =>
    ["image", "font", "media"].includes(req.resourceType()) ? req.abort() : req.continue()
  );
  const res = await page.goto("https://example.com/", { waitUntil: "domcontentloaded", timeout: 60000 });
  console.log(res.status(), await page.title());
} finally {
  await browser.close();
}

Jak uruchomić kilka sesji lub krajów w jednej przeglądarce?

Utwórz jeden kontekst przeglądarki na sesję. Kontekst to izolowany profil z własnymi ciasteczkami, cache i stanem sieci, więc dane uwierzytelniające z jednego kontekstu nie przeciekają do innego. Nadaj każdemu kontekstowi nazwę użytkownika z własnym krajem lub ID sesji.

import puppeteer from "puppeteer";
import { randomUUID } from "node:crypto";

const GATEWAY = "http://gw.crawlrelay.com:7777";
const browser = await puppeteer.launch();

async function visit(country, url) {
  const session = randomUUID().replaceAll("-", "").slice(0, 10);
  const context = await browser.createBrowserContext({ proxyServer: GATEWAY });
  try {
    const page = await context.newPage();
    await page.authenticate({
      username: `USERNAME-country-${country}-session-${session}-ttl-20`,
      password: "PASSWORD",
    });
    await page.goto(url, { waitUntil: "domcontentloaded", timeout: 60000 });
    return { country, session, ip: await page.evaluate(() => document.body.innerText.trim()) };
  } finally {
    await context.close();
  }
}

try {
  const results = await Promise.all([
    visit("us", "https://api.ipify.org"),
    visit("gb", "https://api.ipify.org"),
  ]);
  console.table(results);
} finally {
  await browser.close();
}

Dlaczego Puppeteer pokazuje błąd 407 lub ERR_TUNNEL_CONNECTION_FAILED?

Bo Chrome nie wysłał danych uwierzytelniających lub wysłał błędne. Sprawdź trzy rzeczy:

1. page.authenticate() wywoływany jest przed pierwszym goto na tej stronie.
2. Flaga --proxy-server lub proxyServer zawiera tylko schemat, host i port, bez części user:pass@.
3. Nazwa użytkownika nie ma literówek w części docelowej: przetestuj ją najpierw curl, jak pokazano na stronie 407.

Jeśli curl działa z tym samym użytkownikiem i hasłem, a Puppeteer dalej nie, przeczytaj ERR_TUNNEL_CONNECTION_FAILED.

Ile transferu zużywa strona w Puppeteer?

Wszystko co Chrome pobiera, jest rozliczane: HTML, skrypty, style, obrazy, czcionki oraz wywołania API z strony. HTTP Archive Web Almanac 2025 zmierzył medianę wielkości strony na 2 164 KB na mobilnych oraz 2 412 KB na desktopie. Blokowanie obrazów, czcionek i multimediów przez przechwytywanie żądań zwykle redukuje to do kilkuset kilobajtów, a zwracanie z cache powtarzających się skryptów obniża dalej transfer. Używaj rotujących mobilnych proxy 4G tylko tam gdzie potrzebne: transfer mobilny kosztuje 1,50 USD/GB od 5 GB, proxy rezydencjalne 0,50 USD/GB od 50 GB.