403, 429 và CAPTCHA: phản hồi, không tránh né

Mỗi tín hiệu đang nói gì với trình thu thập dữ liệu của tôi?

• 429 lịch sự nhất: nội dung có sẵn, nhưng không theo tốc độ của bạn. RFC 6585 định nghĩa nó, thường kèm header Retry-After thông báo thời điểm nên trở lại.
• 403 là từ chối yêu cầu này. Có thể sửa được (quốc gia sai, thiếu header, truy cập quá nhanh) hoặc cuối cùng (trang web không cho phép truy cập tự động nội dung đó).
• CAPTCHA hoặc trang thách thức, thường đi kèm mã 403 hoặc 503, có nghĩa là hệ thống quản lý bot của trang nghi ngờ lưu lượng của bạn. Đây là bước leo thang: sau khi bị bỏ qua tín hiệu 429.

Cả ba đều là tín hiệu gia tăng. Các trang web nếu thấy mình bị bỏ qua 429 sẽ nâng lên 403 và thách thức, rồi cấm lâu trên toàn bộ dải IP, gây hại cho mọi người dùng dải IP đó.

Làm sao để xây dựng trình thu thập dữ liệu đáp ứng đúng?

Đặt quy tắc trong trình lấy dữ liệu, không phải mỗi spider. Trình này gửi một yêu cầu mỗi lần trên mỗi máy chủ, tuân thủ robots.txt và Crawl-delay, chờ Retry-After, và dừng hỏi máy chủ sau ba lần từ chối liên tiếp. Xử lý 4xx robots.txt như cho phép và 5xx như cấm hoàn toàn, theo RFC 9309.

import time
import urllib.robotparser
from urllib.parse import urlsplit

import requests

PROXY = "http://USERNAME-country-us:[email protected]:7777"
USER_AGENT = "ExampleCrawler/1.0 (+https://example.com/crawler-info)"


class PoliteFetcher:
    """One request at a time per host; robots.txt, Crawl-delay and Retry-After honoured."""

    def __init__(self, min_interval=1.0, max_refusals=3):
        self.min_interval, self.max_refusals = min_interval, max_refusals
        self.http = requests.Session()
        self.http.proxies = {"http": PROXY, "https": PROXY}
        self.http.headers["User-Agent"] = USER_AGENT
        self.robots, self.next_time, self.refusals = {}, {}, {}

    def _robots(self, root):
        if root not in self.robots:
            rp = urllib.robotparser.RobotFileParser(root + "/robots.txt")
            try:
                r = self.http.get(root + "/robots.txt", timeout=(10, 30))
                if r.status_code >= 500:
                    rp.parse(["User-agent: *", "Disallow: /"])  # unreachable: assume disallow
                else:
                    rp.parse(r.text.splitlines() if r.status_code == 200 else [])  # 4xx: allowed
            except requests.RequestException:
                rp.parse(["User-agent: *", "Disallow: /"])
            self.robots[root] = rp
        return self.robots[root]

    def get(self, url):
        scheme, host = urlsplit(url)[:2]
        if self.refusals.get(host, 0) >= self.max_refusals:
            return None  # this host said no: stop asking
        rp = self._robots("%s://%s" % (scheme, host))
        if not rp.can_fetch(USER_AGENT, url):
            return None
        delay = max(self.min_interval, rp.crawl_delay(USER_AGENT) or 0)
        wait = self.next_time.get(host, 0) - time.monotonic()
        if wait > 0:
            time.sleep(wait)
        r = self.http.get(url, timeout=(10, 30))
        pause = delay
        if r.status_code in (429, 503):
            retry_after = r.headers.get("Retry-After", "")
            pause = max(delay, int(retry_after) if retry_after.isdigit() else 60)
        refused = r.status_code in (403, 429) or "captcha" in r.text[:5000].lower()
        self.refusals[host] = self.refusals.get(host, 0) + 1 if refused else 0
        self.next_time[host] = time.monotonic() + pause
        return r


fetcher = PoliteFetcher()
resp = fetcher.get("https://example.com/")
print(resp.status_code if resp is not None else "skipped")

Những gì có thể sửa được khi gặp 403?

Một số nguyên nhân 403 do bạn, và sửa chúng là hợp lý:

• Quốc gia sai. Nhiều trang chỉ phục vụ một khu vực. Hướng đến quốc gia với -country-<code> proxy di động 4G.
• Thiếu header. Gửi Accept, Accept-Language và user agent trung thực kèm URL liên hệ. User agent giả trình duyệt trên client HTTP thô thường bị từ chối.
• Tốc độ của bạn. 403 bắt đầu sau N lần yêu cầu là vấn đề tốc độ; hãy giảm tốc.

Những gì không phải cách sửa: đổi user agent để giả nhiều người khác nhau, giả dấu vân tay trình duyệt, hoặc thay IP để vượt chặn cố ý của trang. Nếu trang lọc dải hosting để chặn truy cập tự động, IP proxy dân cư không đồng nghĩa được phép truy cập.

Tại sao không chỉ giải CAPTCHA?

Bởi vì CAPTCHA là trang web hỏi bạn một câu mà bạn sẽ trả lời sai. Việc giải tự động biến một trình thu thập dữ liệu lịch sự thành công cụ nhằm vượt qua kiểm soát truy cập, điều này làm tăng rủi ro pháp lý của bạn: các vụ án tại Mỹ năm 2026 về việc lấy dữ liệu tìm kiếm, Google kiện SerpApi và Reddit kiện SerpApi cùng các vụ khác, đưa ra cáo buộc bị cáo đã vượt qua hệ thống chống bot theo quy định chống vượt rào của DMCA. Các tòa án chưa giải quyết dứt điểm, nhưng rủi ro là có thật.

CrawlRelay không hỗ trợ giải CAPTCHA hay né tránh phát hiện bot, và Chính sách Sử dụng Chấp nhận được cấm các hành vi này qua cổng dịch vụ. Nếu bạn cần dữ liệu bị chặn thử thách, hãy liên hệ trang web để được cấp quyền, sử dụng API của nó hoặc xin cấp phép dữ liệu.

Khi nào tôi nên liên hệ với trang web?

Khi bạn cần nhiều hơn những gì mặc định cho phép. Nhiều trang web cung cấp API, nguồn cấp dữ liệu, chương trình đối tác hoặc đơn giản là hạn mức cao hơn cho crawler tự nhận dạng và giải thích mục đích. Đặt URL liên hệ vào user agent của bạn, giữ một trang mô tả crawler và cách người dùng có thể từ chối, và phản hồi nhanh các báo cáo lạm dụng. Một crawler có thể liên hệ sẽ nhận cảnh báo trước khi bị chặn.