Xác thực proxy Puppeteer với IP proxy dân cư và proxy di động 4G

Làm sao để tôi thiết lập một proxy đã xác thực duy nhất?

Đây là mẫu tối thiểu. Khối try … finally đóng Chrome ngay cả khi điều hướng thất bại, điều này quan trọng trên các máy chủ nơi trình duyệt mồ côi bị đóng lại.

import puppeteer from "puppeteer";

const browser = await puppeteer.launch({
  args: ["--proxy-server=http://gw.crawlrelay.com:7777"],
});
try {
  const page = await browser.newPage();
  await page.authenticate({ username: "USERNAME-country-us", password: "PASSWORD" });
  await page.setRequestInterception(true);
  page.on("request", (req) =>
    ["image", "font", "media"].includes(req.resourceType()) ? req.abort() : req.continue()
  );
  const res = await page.goto("https://example.com/", { waitUntil: "domcontentloaded", timeout: 60000 });
  console.log(res.status(), await page.title());
} finally {
  await browser.close();
}

Làm sao để tôi chạy nhiều phiên hoặc quốc gia trong một trình duyệt?

Tạo một ngữ cảnh trình duyệt cho mỗi phiên. Ngữ cảnh là hồ sơ cô lập với cookie, bộ nhớ đệm và trạng thái mạng riêng, vì thế thông tin xác thực bạn cung cấp cho một ngữ cảnh sẽ không rò rỉ sang ngữ cảnh khác. Gán cho mỗi ngữ cảnh một tên người dùng với quốc gia hoặc ID phiên riêng.

import puppeteer from "puppeteer";
import { randomUUID } from "node:crypto";

const GATEWAY = "http://gw.crawlrelay.com:7777";
const browser = await puppeteer.launch();

async function visit(country, url) {
  const session = randomUUID().replaceAll("-", "").slice(0, 10);
  const context = await browser.createBrowserContext({ proxyServer: GATEWAY });
  try {
    const page = await context.newPage();
    await page.authenticate({
      username: `USERNAME-country-${country}-session-${session}-ttl-20`,
      password: "PASSWORD",
    });
    await page.goto(url, { waitUntil: "domcontentloaded", timeout: 60000 });
    return { country, session, ip: await page.evaluate(() => document.body.innerText.trim()) };
  } finally {
    await context.close();
  }
}

try {
  const results = await Promise.all([
    visit("us", "https://api.ipify.org"),
    visit("gb", "https://api.ipify.org"),
  ]);
  console.table(results);
} finally {
  await browser.close();
}

Tại sao Puppeteer báo lỗi 407 hoặc ERR_TUNNEL_CONNECTION_FAILED?

Bởi vì Chrome không gửi thông tin xác thực, hoặc gửi sai thông tin. Kiểm tra ba điều:

1. page.authenticate() chạy trước goto đầu tiên trên trang đó.
2. Cờ --proxy-server hoặc proxyServer chỉ chứa scheme, host và port, không có phần user:pass@.
3. Tên người dùng không có lỗi chính tả trong phần mục tiêu: thử với curl trước, như hướng dẫn trên trang 407.

Nếu curl thành công với cùng tên người dùng và mật khẩu mà Puppeteer vẫn lỗi, đọc thêm ERR_TUNNEL_CONNECTION_FAILED.

Một trang Puppeteer tốn bao nhiêu lưu lượng?

Tất cả những gì Chrome tải về đều bị tính phí: HTML, script, style, hình ảnh, font chữ và các API gọi từ trang. HTTP Archive Web Almanac 2025 đo được trọng lượng trang trung bình là 2.164 KB trên di động và 2.412 KB trên desktop. Chặn hình ảnh, font chữ và phương tiện bằng chặn yêu cầu thường cắt xuống vài trăm kilobyte, và trả về các phản hồi cache cho script lặp lại thì giảm thêm. Chỉ dùng proxy di động 4G xoay vòng cho những trang cần thôi: lưu lượng di động tính 1,50 US$/GB từ 5 GB, proxy dân cư 0,50 US$/GB từ 50 GB.