Proxy di động 4G cho dữ liệu huấn luyện AI và kho dữ liệu web LLM

Một kho dữ liệu huấn luyện AI cần bao nhiêu lưu lượng proxy?

Lấy HTML và văn bản, không lấy trang đã được kết xuất, để khối lượng dữ liệu được kiểm soát. Với 50 KB cho mỗi trang HTML nén:

Tôi có cần proxy cho dữ liệu huấn luyện AI không?

Thường thì không cần cho phần lớn dữ liệu. Trước khi thu thập, hãy kiểm tra ba nguồn rẻ hơn:

• Open crawls. Common Crawl công bố hàng petabyte lưu trữ web do crawler CCBot thu thập.
• Bản dump và API chính thức. Wikipedia, nhiều chính phủ, cổng dữ liệu mở và kho lưu trữ nghiên cứu cung cấp tải xuống và API có giấy phép rõ ràng.
• Dữ liệu có giấy phép. Nhà xuất bản và nền tảng ngày càng bán hoặc cấp giấy phép truy cập, và dịch vụ crawl trả tiền của Cloudflare dùng HTTP 402 để định giá crawling.

Proxy chỉ có giá trị cho phần còn lại: các trang công khai mới chưa có trong open crawls, nội dung thay đổi theo quốc gia hoặc thành phố, và các trang phục vụ các phiên bản khác nhau theo khu vực. Proxy dân cư giúp bạn thu thập dữ liệu như khách truy cập địa phương thấy.

Quy tắc nào áp dụng cho crawler dữ liệu AI năm 2026?

Có bốn lớp quan trọng, từ kỹ thuật đến pháp lý:

1. robots.txt (RFC 9309). Cách chuẩn một trang web cho biết các đường dẫn máy tự động có thể truy cập. Phân tích theo từng trang, áp dụng nhóm user agent của crawler hoặc của *, không lưu vào bộ nhớ đệm quá 24 giờ như RFC khuyến nghị.
2. Tín hiệu AI đặc thù. Chính sách Content Signals của Cloudflare thêm các giá trị ai-train, ai-input và search vào robots.txt; hơn 3.8 triệu tên miền dùng robots.txt quản lý của Cloudflare. Nhóm làm việc aipref của IETF đang soạn một bộ từ vựng chuẩn, chưa có thống nhất tính đến tháng 10 năm 2026.
3. Từ chối khai thác dữ liệu văn bản của EU. Theo quy định bản quyền EU về khai thác dữ liệu văn bản và Điều 53 của Đạo luật AI, nhà cung cấp mô hình AI chung phải tôn trọng hạn chế đọc bằng máy. Trong vụ Kneschke v. LAION (Tòa Phúc thẩm Hamburg, 10/12/2025), LAION, hiệp hội nghiên cứu phi lợi nhuận, dựa vào ngoại lệ nghiên cứu khoa học, và hạn chế ngôn ngữ đơn giản không được xem là đọc máy theo công nghệ 2021; tòa nói có thể thay đổi, và đơn kháng cáo được chấp nhận lên Tòa Liên bang. Với crawler thương mại, hôm nay hãy coi các hạn chế ngôn ngữ đơn giản trong điều khoản sử dụng là ràng buộc.
4. Dữ liệu cá nhân. Ý kiến 28/2024 của EDPB nói quyền lợi hợp pháp có thể là cơ sở pháp lý cho huấn luyện AI, từng trường hợp cụ thể, và CNIL đã công bố khuyến nghị về scraping cho AI tháng 6/2025.

Đây không phải lời khuyên pháp lý. Đọc tổng quan luật web scraping 2026 của chúng tôi và hỏi luật sư cho dự án của bạn.

Làm sao kiểm tra robots.txt và tín hiệu AI trước khi crawl?

Kiểm tra cả hai trước khi xếp hàng bất kỳ URL nào của trang web. Hàm dưới đây lấy robots.txt qua proxy, áp dụng quy tắc RFC 9309 với tập tin thiếu (4xx) và không thể truy cập (5xx), và đọc dòng Content-Signal theo phong cách Cloudflare. Nó rất đơn giản: áp dụng bất kỳ ai-train=no nào trong file cho crawler của bạn.

import urllib.robotparser
from urllib.parse import urlsplit

import requests

PROXY = "http://USERNAME:[email protected]:7777"
PROXIES = {"http": PROXY, "https": PROXY}
USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)"
_rules = {}


def site_rules(url):
    """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most)."""
    scheme, host = urlsplit(url)[:2]
    root = "%s://%s" % (scheme, host)
    if root not in _rules:
        try:
            r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30),
                             headers={"User-Agent": USER_AGENT})
            status, text = r.status_code, r.text
        except requests.RequestException:
            status, text = 599, ""
        if 400 <= status < 500:
            lines = []  # RFC 9309: unavailable, crawling allowed
        elif status >= 500:
            lines = ["User-agent: *", "Disallow: /"]  # unreachable: assume complete disallow
        else:
            lines = text.splitlines()
        parser = urllib.robotparser.RobotFileParser()
        parser.parse(lines)
        signals = {}
        for line in lines:
            if line.lower().startswith("content-signal:"):
                for part in line.split(":", 1)[1].split(","):
                    key, _, value = part.strip().partition("=")
                    signals[key.strip().lower()] = value.strip().lower()
        _rules[root] = (parser, signals)
    return _rules[root]


def may_collect_for_training(url):
    parser, signals = site_rules(url)
    return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no"


print(may_collect_for_training("https://example.com/some/page"))

Làm thế nào xử lý dữ liệu cá nhân trong kho dữ liệu web?

Thu thập ít hơn, sau đó loại bỏ nhiều hơn. Theo GDPR và luật tương tự, công khai không có nghĩa là miễn phí sử dụng: tên, email, số điện thoại, trang hồ sơ đều là dữ liệu cá nhân ở bất cứ đâu.

• Loại trừ từ thiết kế. Bỏ qua khu vực hồ sơ, tìm kiếm người, chỉ đăng nhập và các trang chính chứa dữ liệu cá nhân.
• Lọc sau thu thập. Phát hiện và loại bỏ email, số điện thoại và định danh trước khi dữ liệu vào huấn luyện.
• Ghi lại cơ sở pháp lý. Ý kiến 28/2024 của EDPB và khuyến nghị 2025 của CNIL mô tả bài kiểm tra cân bằng quyền lợi hợp pháp.
• Tôn trọng phản đối. Giữ cách loại bỏ trang hoặc cá nhân khỏi các lần crawl và dữ liệu lưu trữ sau này.

Chính sách Sử dụng Chấp nhận được của CrawlRelay[](/acceptable-use/) cấm thu thập dữ liệu cá nhân vi phạm luật áp dụng.

Pipeline dữ liệu AI nên dùng proxy như thế nào?

• Một sub-user cho mỗi crawl với giới hạn lưu lượng, để tránh tác vụ thất thoát dùng hết gói và mỗi bộ dữ liệu có hồ sơ sử dụng riêng.
• Quay vòng để đa dạng. Trang độc lập xuất ra các đầu ra khác nhau; chỉ dùng phiên dính cho các luồng phân trang.
• Giới hạn theo host. Từ hai đến bốn yêu cầu đồng thời mỗi trang, nhiều hơn chỉ cho trang lớn trả lời nhanh. Xem hướng dẫn đồng thời.
• Lấy một lần. Loại trùng URL, dùng If-Modified-Since khi tái crawl, và lưu phản hồi thô (ví dụ WARC) để không trả tiền hai lần cùng trang.
• Xác định crawler rõ ràng. User agent rõ ràng cùng URL liên hệ để chủ trang liên hệ bạn thay vì chặn.