Bảng thuật ngữ proxy và web scraping

Proxy có IP thoát thuộc kết nối internet gia đình từ nhà cung cấp tiêu dùng. Trang web nhìn thấy người dùng gia đình bình thường. Xem proxy dân cư.

Proxy có IP thoát thuộc mạng nhà mạng 4G/5G. Các nhà mạng chia sẻ mỗi IP cho nhiều thuê bao, nên các trang web chặn chúng một cách thận trọng. Xem proxy di động.

Proxy đặt trong trung tâm dữ liệu, IP đăng ký thuộc nhà cung cấp hosting. Nhanh và rẻ, nhưng thường bị các trang web chặn do lọc dải hosting.

IP tĩnh do nhà cung cấp internet công bố nhưng đặt trong trung tâm dữ liệu. Nó trông giống proxy dân cư với một số cơ sở dữ liệu và giữ cố định. CrawlRelay không bán proxy ISP.

Một host và cổng duy nhất chuyển kết nối của bạn đến nhiều IP thoát ở phía sau. Bạn đổi IP thoát qua username hoặc mở kết nối mới, không phải đổi địa chỉ trực tiếp.

Địa chỉ IP mà trang web mục tiêu nhìn thấy. Với gateway dân cư, đó là kết nối gia đình được chọn phù hợp với mục tiêu của bạn.

Carrier-grade NAT: nhà mạng di động hoặc băng thông rộng đặt nhiều thuê bao sau vài IP công cộng. RFC 6598 dành riêng 100.64.0.0/10 cho không gian chia sẻ bên trong các mạng như vậy.

Autonomous System Number: mã định danh của một mạng trên internet, ví dụ AS7922 của Comcast. Chọn IP thoát theo ASN để lấy IP trên cùng nhà cung cấp internet.

Nguồn IP dân cư từ đâu và điều kiện chủ thiết bị chia sẻ băng thông như thế nào. Sau sự kiện thu hồi IPIDEA và NetNut năm 2026, đây là câu hỏi quan trọng khi mua. Xem nguồn IP.

Username không kèm session ID: mỗi kết nối mới được cấp một IP khác trong pool. Việc luân phiên theo từng kết nối, không theo từng yêu cầu HTTP.

Username có session ID và TTL: các kết nối dùng session ID giữ IP thoát cố định trong tối đa 30 phút, dù IP có thể thay đổi sớm hơn. Xem phiên.

Thời gian phiên sticky giữ IP, tính bằng phút và đặt bằng -ttl-<minutes>. Phiên có thể kết thúc sớm nếu thiết bị phía sau offline.

Tái sử dụng một kết nối TCP cho nhiều yêu cầu HTTP. Nhanh hơn nhưng mọi yêu cầu trên kết nối đó dùng chung một IP thoát.

Phương thức HTTP mà client dùng yêu cầu proxy tạo ống nối đến host và cổng (RFC 9110, mục 9.3.6). Dữ liệu HTTPS chảy trọn trong ống nối này.

Giao thức proxy chuyển tiếp kết nối TCP mà không đọc HTTP (RFC 1928), đi kèm xác thực username và mật khẩu theo RFC 1929.

Cách viết URL bảo client gửi hostname đến proxy SOCKS5 để DNS được giải quyết ở phía IP thoát thay vì trên máy bạn.

Header yêu cầu chứa thông tin xác thực proxy, thường dạng Basic username:password mã Base64. Proxy sẽ loại bỏ header này trước khi chuyển tiếp.

Proxy đã từ chối yêu cầu vì thiếu hoặc sai thông tin xác thực. Website không bao giờ được truy cập. Xem 407.

Website đang giới hạn lượt truy cập của bạn (RFC 6585). Giảm tốc độ và tuân thủ Retry-After. Xem 429.

Header phản hồi cho biết số giây hoặc ngày cần chờ trước khi thử lại (RFC 9110, mục 10.2.3). Gửi kèm với phản hồi 429 và 503.

Số lượng yêu cầu đang xử lý đồng thời. Theo định luật Little, nó bằng thông lượng nhân độ trễ. Giới hạn theo từng host mục tiêu. Xem concurrency.

Tệp tại gốc website chỉ định cho các client tự động biết đường dẫn nào được phép truy cập, được chuẩn hóa theo RFC 9309 năm 2022. Crawler không nên lưu trữ nó quá 24 giờ.

Một dòng phổ biến không chuẩn trong robots.txt cho biết số giây phải chờ giữa các yêu cầu. Python urllib.robotparser đọc nó bằng crawl_delay().

Header xác định tên client. Crawler có trách nhiệm gửi tên, phiên bản và URL liên hệ riêng, không dùng tên crawler khác.

Mở rộng robots.txt của Cloudflare với các giá trị search, ai-input và ai-train, ra mắt tháng 9 năm 2025, chỉ dẫn cách sử dụng nội dung cho crawler.

Quyền của chủ sở hữu nội dung hạn chế khai thác dữ liệu văn bản và dữ liệu theo luật bản quyền EU, các nhà cung cấp AI đa năng phải tôn trọng.

Thử thách kiểm tra người dùng có phải con người không. Với crawler đây là tín hiệu chậm lại hoặc dừng; CrawlRelay không hỗ trợ giải tự động.

Trình duyệt không cửa sổ hiển thị, điều khiển bằng mã như Playwright hoặc Puppeteer. Hiển thị JavaScript nhưng tải nhiều dữ liệu hơn client HTTP.

Dữ liệu có cấu trúc nhúng trong trang dạng JSON, thường dùng các kiểu schema.org như Product và Offer. Nguồn ổn định nhất về giá và thông tin sản phẩm.

Định dạng Web ARChive lưu trữ yêu cầu và phản hồi HTTP thô, dùng bởi Common Crawl và kho lưu trữ web. Lưu phản hồi thô tránh phải tải lại trang.

Yêu cầu có If-None-Match hoặc If-Modified-Since. Trang không thay đổi trả 304 Not Modified không thân, tiết kiệm lưu lượng.

Mua lưu lượng một lần khi cần, thay vì đăng ký hàng tháng. Ở CrawlRelay, các gói là mua một lần bằng số dư trả trước.

Lưu lượng mua có hết hạn không sau khoảng thời gian như 31 ngày hay 1 tháng. CrawlRelay với proxy dân cư và proxy di động 4G không bao giờ hết hạn.

1 GB = 1.000.000.000 byte; gibibyte (GiB) là 1.073.741.824 byte. Hỏi nhà cung cấp dùng đơn vị nào; CrawlRelay tính theo GB thập phân.

Chi phí lưu lượng chia cho phản hồi sử dụng được. So sánh hiệu quả hơn list giá theo GB giữa các nhà cung cấp.

Tập thông tin proxy riêng dưới một tài khoản, có giới hạn lưu lượng và sử dụng riêng, dùng để tách dự án hoặc khách hàng.

Không cần KYC: xác minh danh tính bằng giấy tờ, ảnh tự chụp hoặc giấy công ty. CrawlRelay không yêu cầu mà dựa vào Chính sách Sử dụng Hợp lệ.

Chính sách Sử dụng Hợp lệ: quy tắc mọi tài khoản phải tuân theo, liệt kê các mục được phép, bị cấm và mục tiêu bị chặn.