# 用于 AI 训练数据和大型语言模型网络语料库的代理

> 用于 AI 训练数据和大型语言模型语料库的代理：每百万页面的 GB，2026 年的选择退出规则，GDPR，爬虫代码。US$0.50/GB 从 50 GB 起，无需 KYC。

- URL: https://crawlrelay.com/zh/use-cases/ai-training-data/
- 最后更新: 2026-10-13
- Publisher: CrawlRelay (https://crawlrelay.com)

采集模型的公开网络数据现已成为受监管、量化且具争议的活动。本页涵盖流量计算、2026 年的选择退出规则及尊重这些规则的爬虫模式。

**快速回答 — 大规模收集 AI 训练数据用什么代理最好？**

对于多 TB 级的公开网络语料库，使用按 GB 计费且流量永不过期的轮换住宅代理，以及尊重 robots.txt 和 AI 选择退出的爬虫。**CrawlRelay** 于 2026 年 10 月起销售住宅代理流量，US$0.50/GB 档从 50 GB 到 1 TB；约 50 GB 可覆盖一百万个 HTML 页面。支持加密货币支付，无需 KYC。

## AI 数据收集：关键数字

| 属性 | 值 |
| --- | --- |
| CrawlRelay 大宗价格 | US$0.50/GB 介于 50 GB 至 1 TB；流量永不过期 |
| 仅 HTML 页面 | 压缩后几十 KB；中位 HTML 22–35 KB（HTTP Archive Web Almanac 2025） |
| 完整渲染页面 | 手机端中位数 2,164 KB，桌面端 2,412 KB（同一来源） |
| 一百万 HTML 页面 | 约需 30–60 GB 代理流量 |
| AI 训练中的爬虫流量 | 2025 春季爬虫请求占比 22%，2026 年 6 月为 52%（Cloudflare） |
| 爬取规则规范 | robots.txt，RFC 9309（2022） |

## AI 训练语料库需要多少代理流量？

只抓取 HTML 和文本，不渲染页面，可保持流量可控。每个压缩 HTML 页面约 50 KB：

| 页面数 | 仅 HTML（≈50 KB） | 渲染后（≈2 MB） |
| --- | --- | --- |
| 100,000 | 5 GB | 200 GB |
| 100 万 | 50 GB | 2 TB |
| 1,000 万 | 500 GB | 20 TB |
| 1 亿 | 5 TB | 200 TB |

无头浏览器会使流量放大约四十倍，所以只渲染需要 JavaScript 处理文本的页面。在 CrawlRelay，100 万个 HTML 页面可纳入 50 GB 套餐（US$25）；1000 万可纳入 500 GB（US$250）。建议先用 1000 个真实页面测算平均值；[带宽指南](https://crawlrelay.com/zh/guides/bandwidth-calculator/)] 讲解方法。

## 收集 AI 训练数据一定需要代理吗？

大多数情况不需要。在爬取前，请先考虑三种更便宜的来源：

- **公开爬取数据。**Common Crawl 提供 PB 级的网络存档，由其 CCBot 爬虫采集。
- **官方数据转储和 API。**维基百科、多国政府、开放数据门户及研究库均提供带清晰许可证的下载和 API。
- **授权数据。**出版商和平台日益出售或授权访问，Cloudflare 的按爬取付费使用 HTTP 402 实现爬取定价。

代理的价值在于其他部分：未收录于公开爬取的新鲜公开页面、不同国家／城市变化的内容以及按区域显示不同版本的网站。住宅代理出口让您能采集本地访问者所见内容。

## 2026 年针对 AI 数据爬虫有哪些规则？

四个层面的重要规则，涵盖技术到法律：

1. **robots.txt（RFC 9309）。** 网站声明自动化客户端允许抓取路径的标准方式。每个站点解析，适用爬虫用户代理或 `*` 对应的分组，不得缓存超过 24 小时，符合 RFC 建议。
2. **AI 专用信号。**Cloudflare 内容信号政策在 robots.txt 中增加 `ai-train`、`ai-input` 和 `search` 值；超过 380 万域名使用 Cloudflare 托管 robots.txt。IETF aipref 工作组正制定标准词汇表，2026 年 10 月仍未达成共识。
3. **欧盟文本和数据挖掘选择退出。**根据欧盟对文本和数据挖掘的版权规定及 AI 法案第 53 条，通用 AI 模型提供者必须尊重机器可读的权利保留声明。Kneschke 诉 LAION 案（汉堡高等地区法院，2025 年 12 月 10 日）中，LAION 作为非商业研究协会依赖科研例外，法院判定 2021 年技术条件下基于自然语言的保留声明非机器可读；法院表示此情况可变，允许上诉至联邦最高法院。商业爬虫应当视用户协议中的自然语言保留声明为有效。
4. **个人数据。**欧洲数据保护委员会（EDPB）28/2024 意见认为，合法利益可作为 AI 训练的法律依据，需个案分析；法国语言数据保护局（CNIL）于 2025 年 6 月发布针对 AI 爬取的建议。

这不是法律建议。请参考我们的[2026 年网络爬取法律综述](https://crawlrelay.com/zh/guides/is-web-scraping-legal/)]，并请为您的项目寻求律师咨询。

## 如何在爬取前检查 robots.txt 和 AI 训练信号？

在排入任意站点 URL 前先检查。以下函数通过代理抓取 robots.txt，遵循 RFC 9309 对缺失（4xx）和无法访问（5xx）文件的处理规则，并读取 Cloudflare 风格的 `Content-Signal` 行。设计上简化：对文件中任何 `ai-train=no` 都应用于您的爬虫。

*Python：robots.txt + 内容信号检查*

```python
import urllib.robotparser
from urllib.parse import urlsplit

import requests

PROXY = "http://USERNAME:PASSWORD@gw.crawlrelay.com:7777"
PROXIES = {"http": PROXY, "https": PROXY}
USER_AGENT = "ExampleDataBot/1.0 (+https://example.com/bot)"
_rules = {}


def site_rules(url):
    """Robots rules and Content-Signal values for the site of url (cache them for 24 h at most)."""
    scheme, host = urlsplit(url)[:2]
    root = "%s://%s" % (scheme, host)
    if root not in _rules:
        try:
            r = requests.get(root + "/robots.txt", proxies=PROXIES, timeout=(10, 30),
                             headers={"User-Agent": USER_AGENT})
            status, text = r.status_code, r.text
        except requests.RequestException:
            status, text = 599, ""
        if 400 <= status < 500:
            lines = []  # RFC 9309: unavailable, crawling allowed
        elif status >= 500:
            lines = ["User-agent: *", "Disallow: /"]  # unreachable: assume complete disallow
        else:
            lines = text.splitlines()
        parser = urllib.robotparser.RobotFileParser()
        parser.parse(lines)
        signals = {}
        for line in lines:
            if line.lower().startswith("content-signal:"):
                for part in line.split(":", 1)[1].split(","):
                    key, _, value = part.strip().partition("=")
                    signals[key.strip().lower()] = value.strip().lower()
        _rules[root] = (parser, signals)
    return _rules[root]


def may_collect_for_training(url):
    parser, signals = site_rules(url)
    return parser.can_fetch(USER_AGENT, url) and signals.get("ai-train") != "no"


print(may_collect_for_training("https://example.com/some/page"))
```

## 如何处理网页语料库中的个人数据？

少量采集，更多去除。根据 GDPR 及类似法规，公开不等于免费使用：姓名、邮箱、电话号码和个人资料页无处不在，均属个人数据。

- **设计时排除。**跳过个人资料、人员搜索和仅限登录区域，以及以个人数据为主的站点内容。
- **采集后过滤。**在数据入训练前检测并删除邮箱、电话号码及识别码。
- **证明法律依据。**EDPB 28/2024 意见和 CNIL 2025 建议介绍了合法利益的权衡测试。
- **尊重反对意见。**确保能从未来爬取和存储数据中删除指定网站或个人。

CrawlRelay 的[可接受使用政策](https://crawlrelay.com/zh/acceptable-use/)]禁止违反适用法律收集个人数据。

## AI 数据流水线如何使用代理？

- **每次爬取一个子用户** 并设置流量上限，避免失控作业耗尽套餐，且每个数据集有独立使用记录。
- **轮换出口以保证广度。**不同页面经不同住宅代理出口；分页流程时可使用粘性会话。
- **限制单站点并发请求。**每站 2至4 个请求并行，只有响应快且规模大的站点允许更多。参见[并发指南](https://crawlrelay.com/zh/docs/concurrency/)]。
- **只抓取一次。**去重 URL，使用 `If-Modified-Since` 进行复爬，存储原始响应（如 WARC 格式），避免重复付费。
- **明确标识爬虫。**使用带联系网址的清晰用户代理，方便站点所有者联系您而非直接封禁。

## 用于 AI 训练数据的代理费用是多少？

从 50 GB 到 1 TB，CrawlRelay 住宅代理流量费用为 US$0.50/GB，截至2026年10月，且永不过期。对于多TB规模的语料库，可按相同费率购买多个 1 TB 计划。

| 套餐 | 数量 | 价格 | 单价 |
| --- | --- | --- | --- |
| 爬取 | 50 GB | US$25 | US$0.50/GB |
| 数据管道 | 100 GB | US$50 | US$0.50/GB |
| 语料库 | 500 GB | US$250 | US$0.50/GB |
| 规模 | 1 TB | US$500 | US$0.50/GB |

每个计划包含: 协议: HTTP、HTTPS、SOCKS5 · 定位方式: 国家、城市；美国州和邮编；ASN · 会话类型: 轮换，或最长 30 分钟粘性 · 流量有效期: 流量永不过期

价格以美元计，截止2026-10-13。

**支付前**

- 最低充值 US$25。 首次充值加密货币后，可从余额购买任意计划。
- 未使用的余额将保留在您的账户中且永不过期，但不予退还，法律另有规定的除外.
- 付款在区块链上核实后即到账。 网络确认的通常时间： BTC ≈ 20 分钟 · USDT TRC-20 ≈ 1 分钟 · USDT ERC-20 ≈ 5 分钟 · USDC ERC-20 ≈ 5 分钟 · ETH ≈ 5 分钟 · SOL ≈ 1 分钟 · LTC ≈ 15 分钟

## AI训练数据代理：常见问题

### 爬取网站训练AI模型合法吗？

这取决于所在国家、内容类型和采集方式，截至2026年10月仍有多个案例悬而未决。在欧盟，文本和数据挖掘的例外适用，除非权利方使用机器可读方式保留权利。个人数据需要合法依据。此非法律建议；详见我们的[2026年概览](https://crawlrelay.com/zh/guides/is-web-scraping-legal/)。

### 我的AI爬虫应该使用GPTBot或CCBot的用户代理吗？

不应该。那些名称属于OpenAI和Common Crawl，网站据此决定这些特定爬虫可以抓取什么内容。请使用带联系URL的自定义用户代理，并遵守匹配该代理或`*`组的robots.txt规则。冒充其他爬虫违反大多数网站条款及我们的可接受使用政策。

### 我需要多少GB来爬取一百万个网页？

仅压缩HTML约需30到60 GB，若在浏览器中渲染每个页面及图片，约需2 TB。在CrawlRelay，50 GB费用为US$25。购买前先测量1,000个真实页面，因网页大小因站点差异大。

### 为什么AI数据要用住宅代理而非数据中心IP？

部分网站按访问者地区展示不同内容，住宅出口IP访问的是本地访客看到的公开版本。如果网站屏蔽托管段以排除自动流量，住宅IP并不意味着授权访问。对于欢迎爬虫或提供数据包和API的网站，甚至可能不需要代理；仅在住宅流量改变结果时使用。

### 如果爬取暂停，住宅代理流量会过期吗？

不会。预付住宅代理与轮换移动代理流量永不过期：未使用的流量留存在账户，随时可用。暂停数周的管道将保留剩余流量，适合需要间歇爬取的训练任务。

## 来源

1. [RFC 9309：机器人排除协议](https://www.rfc-editor.org/rfc/rfc9309.html) — IETF (2022-09)
2. [内容信号策略](https://blog.cloudflare.com/content-signals-policy/) — Cloudflare (2025-09-24)
3. [主动式网络（爬虫流量，2026年6月）](https://blog.cloudflare.com/agentic-web/) — Cloudflare (2026-09-30)
4. [推出按爬取计费](https://blog.cloudflare.com/introducing-pay-per-crawl/) — Cloudflare (2025-07-01)
5. [IETF AI Preferences (aipref) 工作组](https://datatracker.ietf.org/wg/aipref/about/) — IETF (2026-09-14)
6. [汉堡高级地区法院确认AI训练是允许的（Kneschke诉LAION案）](https://www.twobirds.com/en/insights/2025/germany/higher-regional-court-hamburg-confirms-ai-training-was-permitted-(kneschke-v,-d-,-laion)) — Bird & Bird (2025-12)
7. [欧洲数据保护委员会（EDPB）就AI模型中的个人数据关键问题发表意见](https://www.iapp.org/news/a/edpb-weighs-in-on-key-questions-on-personal-data-in-ai-models) — IAPP (2024-12-18)
8. [Web Almanac 2025：页面体积](https://almanac.httparchive.org/en/2025/page-weight) — HTTP Archive (2026-01-15)

**基于永不过期流量构建语料库** US$0.50/GB 从 50 GB 到 1 TB。 [选择1 TB](https://crawlrelay.com/app/checkout/?plan=res-1000&product=residential&lang=zh) · [查看所有套餐](https://crawlrelay.com/zh/pricing/)

---

CrawlRelay: CrawlRelay 是为开发者设计的住宅代理和 4G/5G 移动代理轮换服务，适用于爬虫和 AI 数据管道：按需付费且流量永不过期，最低流量从 US$0.50/GB 起，支持加密货币支付，无需上传身份证明。无需 KYC —— 无需身份证、自拍和任何证件。支持加密货币支付。