Tài liệu proxy CrawlRelay: bắt đầu nhanh

Làm sao để gửi yêu cầu đầu tiên?

Sao chép tên đăng nhập và mật khẩu từ bảng điều khiển của bạn, sau đó chạy một trong số lệnh này. Mỗi lệnh sẽ in ra địa chỉ IP mà website thấy, thường thay đổi mỗi lần chạy.

curl -x http://USERNAME-country-us:[email protected]:7777 https://api.ipify.org

import requests

proxy = "http://USERNAME-country-us:[email protected]:7777"
r = requests.get("https://api.ipify.org", proxies={"http": proxy, "https": proxy}, timeout=(10, 30))
print(r.text)

import { ProxyAgent, fetch } from "undici";

const dispatcher = new ProxyAgent("http://USERNAME-country-us:[email protected]:7777");
const res = await fetch("https://api.ipify.org", { dispatcher });
console.log(await res.text());

Làm thế nào để tạo tên đăng nhập?

Bắt đầu từ tên đăng nhập trên bảng điều khiển và thêm các tham số nối bằng dấu gạch nối, theo định dạng phía trên. Mỗi tham số đều tùy chọn. Giá trị viết thường, tên thành phố dùng dấu gạch dưới (new_york, sao_paulo). Thời gian khả dụng của thành phố có thể khác nhau.

Phiên luân phiên và phiên cố định hoạt động thế nào?

Tên đăng nhập không có session- sẽ lấy một IP từ pool mỗi kết nối TCP mới, thường là IP khác. Tên đăng nhập có session-<id>-ttl-<minutes> giữ cùng một IP thoát cho ID đó cho đến khi TTL hết hoặc thiết bị proxy dân cư offline.

• Luân phiên theo kết nối, không theo yêu cầu: keep-alive sử dụng lại IP thoát giống nhau.
• Dùng một session ID mới cho mỗi job, mỗi context trình duyệt hoặc luồng tài khoản.
• Hai scraper gửi cùng session ID sẽ dùng chung một IP thoát.

Hướng dẫn phiên làm việc giới thiệu lại kết nối cho từng thư viện.

Giới hạn là gì?

• Đích bị chặn: Các trang ngân hàng, chính phủ và cổng thanh toán, cùng các cổng SMTP (gửi email) 25, 465 và 587. Các yêu cầu tới đó bị từ chối.
• Sử dụng: chỉ dữ liệu công khai, theo Chính sách sử dụng chấp nhận được. Không chiếm đoạt tài khoản, gian lận, spam hay cố gắng vượt các chặn cố ý của trang.
• Lưu lượng: tính phí theo GB. Tính toàn bộ dữ liệu gửi và nhận qua proxy (tải lên và tải xuống, bao gồm header). 1 GB = 1,000,000,000 bytes. Cố gắng kết nối không thành công trước khi tới đích không tính. Yêu cầu dừng khi hết lưu lượng của gói.
• Phiên làm việc: tối đa 30 phút; IP có thể thay đổi sớm hơn, ví dụ khi thiết bị proxy dân cư offline.
• Giao thức: HTTP, HTTPS (CONNECT) và SOCKS5.
• Số kết nối đồng thời: không tính phí. Giới hạn do mục tiêu chấp nhận; xem hướng dẫn đồng thời.

Làm thế nào để tôi quản lý thông tin đăng nhập và sử dụng?

Trong bảng điều khiển hoặc qua REST API tại https://crawlrelay.com/api/v1 với khóa API. Khóa API có thể thu hồi bất cứ lúc nào. Các tác vụ chính:

• Người dùng phụ: mỗi scraper hoặc dự án khách hàng một bộ thông tin đăng nhập, có thể giới hạn lưu lượng. Xem API proxy dân cư.
• Danh sách cho phép IP: tối đa 10 IP có thể kết nối không cần mật khẩu.
• Sử dụng: lưu lượng hàng ngày theo đăng ký, cảnh báo trước khi crawl hết lưu lượng.
• Danh mục: quốc gia, thành phố, bang và ASN mà bạn có thể nhắm tới, để mã của bạn kiểm tra username trước khi dùng.
• Đơn hàng: mua thêm lưu lượng từ số dư mà không cần mở dashboard. Xem API đơn hàng.