# 2026 年网页爬取是否合法？爬虫必知

> 2026 年网页爬取合法吗？美国和欧盟爬虫规则：hiQ 案、Meta 诉 Bright Data 案、SerpApi 和 Reddit 案、TDM 选择退出、GDPR。

- URL: https://crawlrelay.com/zh/guides/is-web-scraping-legal/
- 最后更新: 2026-10-13
- Publisher: CrawlRelay (https://crawlrelay.com)

收集公开数据在许多地区是合法的，但同一爬虫可能适用五种不同法律。本文梳理这些法律，列出 2025-2026 年影响判例，最后提供清单。

**快速回答 — 2026 年网页爬取是否合法？**

在美国和欧盟，抓取公开网页数据一般合法，但合法性取决于收集手法和内容。主要风险是违反网站条款、绕过技术措施（两起 2026 年美国案例有争议）、复制受保护内容或数据库，以及无合法依据处理个人数据。**CrawlRelay**，面向爬虫的代理服务，仅允许公开数据采集。此非法律意见。

## 2025-2026 年影响爬取的五大判决

| 属性 | 值 |
| --- | --- |
| Kneschke 诉 LAION（汉堡，2025 年 12 月 10 日） | LAION 作为非商业科研机构可依赖科研 TDM 例外；文本保留声明 2021 年技术下不可机器读取；允许上诉至 BGH |
| Getty 诉 Stability AI（英格兰，2025 年 11 月 4 日） | 模型二次版权主张失败；允许上诉 |
| Google 诉 SerpApi（加州北区，2026 年 7 月 20 日） | DMCA 反规避公有结果请求被驳回；修订起诉状待审 |
| Reddit 诉 SerpApi 等（纽约南区，2026 年 7 月 31 日） | SerpApi 和 Perplexity 的驳回动议大部分被拒；Oxylabs 动议待审；无被告被裁定有责 |
| Thomson Reuters 诉 Ross（第 3 巡回，2026 年 9 月 29 日） | 在 Westlaw 头注上训练非生成型法律检索工具不构成合理使用 |

## 哪些法律适用于网页爬虫？

项目需自查五个问题：

1. **访问权限。** 是否绕过登录、付费墙或其他门槛？计算机滥用法关注授权，公开页面与受保护页面区别对待。
2. **规避措施。** 是否绕过技术限制，如反机器人系统？美国 DMCA 第 1201 条目前正针对爬虫检验。
3. **合约问题。** 是否同意网站条款，比如注册账户？即便访问合法，违反条款仍可能构成合约纠纷。
4. **内容复制。** 是否复制受版权保护文本、图片或数据库？版权及欧盟数据库权保护不只是事实内容。
5. **个人数据。** 数据是否能识别个体？那么数据保护法规，如 GDPR 或美国州隐私法适用，无论信息公开与否。

## 美国的法律立场是什么？

- **计算机欺诈和滥用法。** 继最高法院 2021 年 *Van Buren* 案后，联邦第九巡回法院在 2022 年 *hiQ 诉 LinkedIn* 案认定抓取公开数据不构成“未经授权访问”。同案判定 hiQ 违约并和解。
- **使用条款。** 在 2024 年 *Meta 诉 Bright Data* 案，加州法院判 Meta 条款未禁止注销状态下抓取公开数据；Meta 撤诉。2024 年 X 公司对 Bright Data 指控被驳回并和解。
- **反规避。** 两起 2026 年案检验绕过反机器人系统是否违反 DMCA 第 1201 条。*Google 诉 SerpApi* 案首次起诉已驳回，修订起诉状待审。*Reddit 诉 SerpApi 等* 案对被告部分动议拒绝，部分待审；无责任判决，法院未判实质案情。
- **版权与 AI。** 2026 年 9 月，第 3 巡回认定 *Thomson Reuters 诉 Ross* 案中基于 Westlaw 头注训练非生成型法律工具不构成合理使用。

## 欧盟和英国的法律立场是什么？

- **文本与数据挖掘。** 欧盟版权法允许合法访问内容的文本及数据挖掘，除非权利持有人以机器可读方式保留该权利。*Kneschke 诉 LAION*（2025 年 12 月，汉堡高级区域法院）判定 LAION 可适用科研 TDM 例外，普通文本保留在 2021 年技术下不被视机器可读，案件可上诉联邦最高法院（BGH），技术演进可能影响判决。商业爬虫今日应视普通语言条款为约束。
- **AI 法案。** 通用 AI 模型提供商须制定识别和尊重此类保留的政策（第 53 条）。2025 年行业行为准则承诺遵守 robots.txt。
- **数据库权。** 欧盟数据库权保护对数据库的实质投资，*CV-Online Latvia 诉 Melons*（2021 年）判定非法重复使用数据库若损害投资可侵权。
- **个人数据。** GDPR 适用于公开的个人数据。欧洲数据保护委员会 28/2024 意见指出合法利益可作为 AI 开发的法律依据（个案），法国国家信息与自由委员会（CNIL）于 2025 年 6 月发布了 AI 爬取建议。
- **英国。** *Getty Images 诉 Stability AI*（2025 年 11 月）高等法院驳回模型的二次版权主张；Getty 获准上诉。

## 重要案例及进展（2026 年 10 月）

| 案例 | 法院，日期 | 状态 | 为何爬虫关注 |
| --- | --- | --- | --- |
| hiQ Labs 诉 LinkedIn | 第九巡回，2022 年 4 月 | 合同达成后解决（2022） | 公开数据与CFAA |
| Meta诉Bright Data | 美国加州北区法院，2024年1月23日 | Meta撤诉 | 未登录爬取与使用条款 |
| X Corp诉Bright Data | 美国加州北区法院，2024年5月 | 驳回后和解（2025） | 使用条款与公开数据 |
| Google诉SerpApi | 美国加州北区法院，2025年12月19日立案 | 首次诉讼驳回于2026年7月20日；修订诉状待审 | 反机器人系统与DMCA §1201 |
| Reddit诉SerpApi, Oxylabs, AWMProxy, Perplexity | 美国纽约南区地方法院，2025年10月22日立案 | SerpApi与Perplexity动议大部分被驳回于2026年7月31日；Oxylabs动议待审 | 绕过责任针对数据和代理供应商 |
| Kneschke诉LAION | 汉堡高级地方法院，2025年12月10日 | 允许上诉至联邦最高法院 | TDM豁免与机器可读的拒绝协议 |
| Getty Images诉Stability AI | 英国高等法院，2025年11月4日 | 允许上诉 | 人工智能模型与二次侵权 |
| Thomson Reuters诉Ross | 第三巡回法院，2026年9月29日 | 已裁定 | 合理使用与训练数据 |

## 如何降低爬取项目的法律风险？

- **仅限公开页面。** 不使用登录、不触碰付费墙、不访问非自有账户。
- **尊重robots.txt和AI拒绝协议。** 应用RFC 9309，遵守`ai-train=no`类训练数据相关信号，并记录检查内容与时间。
- **禁止绕过。** 不破解CAPTCHA，不使用规避机器人检测的工具，不重试以绕过拒绝。详情见[如何应对403、429和CAPTCHA](https://crawlrelay.com/zh/guides/403-429-captcha/)。
- **认真阅读所依赖网站的条款**，特别是如果您持有账户。
- **尽量减少个人数据**，记录法律依据并保留处理异议的机制。
- **合理使用收集内容：** 依据事实和分析比全文转载文本或图片更安全。
- **保持记录：** 包括网址、日期、robots.txt版本及爬虫身份。

涉及实际风险时，建议咨询相关国家律师。

## 使用代理会改变爬取是否合法吗？

不会。代理改变请求看起来来源的位置，但不改变你收集内容或方式。无论是否使用代理，都适用同样的五个问题。有两点会变：一是代理供应商规则：CrawlRelay的[可接受使用政策](https://crawlrelay.com/zh/acceptable-use/)仅允许公开数据，禁止绕过和欺诈。二是供应商IP来源：2026年Google和美国当局因未获适当同意而破获了IPIDEA和NetNut网络，因此请询问供应商的IP来源。我们的IP来源详见[来源页面](https://crawlrelay.com/zh/sourcing/)。

## 网络爬虫法律：常见问题

### 网站使用条款禁止爬取，爬取是否违法？

不一定。使用条款是合同问题：若你接受条款（例如注册账户），则对你有约束力。法院通常区别未登录公开数据爬取与登录后爬取。违反条款可能带来索赔风险，请务必阅读所依赖网站的条款。

### robots.txt是否具备法律约束力？

robots.txt是技术标准（RFC 9309），非法律。但在法律上仍具重要性：在欧盟，必须尊重以机器可读形式表达的文本与数据挖掘拒绝，robots.txt是表达形式之一。忽视它会削弱你访问是善意的论点。

### 公开的个人数据可以爬取吗？

公共个人数据仍然是个人数据。在 GDPR 下，您需要法律依据，例如经过平衡测试的合法利益，并且必须尊重数据主体的权利。仅收集您所需的数据，避免敏感类别，并从不需要的数据库中过滤出标识符。

### 用数据抓取训练 AI 模型合法吗？

这取决于您所在的地区以及您收集的数据内容。在欧盟，除非权利持有人以机器可读的方式选择退出，否则文本和数据挖掘例外适用，且通用模型提供商必须尊重这些退出。在美国，合理使用根据具体案情判断，法院在2025年和2026年作出了不同判决。详见[AI training data](https://crawlrelay.com/zh/use-cases/ai-training-data/)。

### 我会因通过代理服务商的网络抓取数据而承担责任吗？

您对自己收集的数据及其使用方式负责。服务提供商也有规则：CrawlRelay 会暂停违反其《可接受使用政策》的账号，并配合有效的法律请求，具体内容详见其[条款](https://crawlrelay.com/zh/terms/)及[隐私政策](https://crawlrelay.com/zh/privacy/)。

## 来源

1. [hiQ Labs 诉 LinkedIn](https://en.wikipedia.org/wiki/HiQ_Labs_v._LinkedIn) — Wikipedia (2026-10-05)
2. [影响爬取法律的重要裁决：Meta诉Bright Data](https://www.fbm.com/technology/publications/major-decision-affects-law-of-scraping-and-online-data-collection-meta-platforms-v-bright-data/) — Farella Braun + Martel (2024-01)
3. [马斯克的X与以色列数据公司达成数据抓取纠纷和解](https://news.bloomberglaw.com/ip-law/musks-x-settles-data-scraping-dispute-against-israeli-data-firm) — Bloomberg Law (2025)
4. [Google 诉 SerpApi 案件：法院同意我们的撤诉请求](https://serpapi.com/blog/google-v-serpapi-the-court-granted-our-motion-to-dismiss/) — SerpApi (2026-07-21)
5. [Reddit 诉 SerpApi LLC 案件](https://www.loeb.com/en/insights/publications/2026/08/reddit-v-serpapi-llc) — Loeb & Loeb (2026-08)
6. [第三巡回法院支持Thomson Reuters反对Ross](https://www.lawnext.com/2026/09/3rd-circuit-rules-for-thomson-reuters-in-its-copyright-fight-against-legal-research-startup-ross.html) — LawNext (2026-09-30)
7. [汉堡高级地区法院确认AI训练是允许的（Kneschke诉LAION案）](https://www.twobirds.com/en/insights/2025/germany/higher-regional-court-hamburg-confirms-ai-training-was-permitted-(kneschke-v,-d-,-laion)) — Bird & Bird (2025-12)
8. [Getty Images诉Stability AI判决](https://www.judiciary.uk/judgments/getty-images-v-stability-ai/) — Courts and Tribunals Judiciary (2025-11-04)
9. [案例C-762/19，CV-Online Latvia诉Melons案](https://curia.europa.eu/juris/liste.jsf?num=C-762/19) — Court of Justice of the European Union (2021-06-03)
10. [委员会就文本和数据挖掘权利预留协议进行咨询](https://digital-strategy.ec.europa.eu/en/consultations/commission-launches-consultation-protocols-reserving-rights-text-and-data-mining-under-ai-act-and) — European Commission (2025-12-01)
11. [欧洲数据保护委员会（EDPB）就AI模型中的个人数据关键问题发表意见](https://www.iapp.org/news/a/edpb-weighs-in-on-key-questions-on-personal-data-in-ai-models) — IAPP (2024-12-18)
12. [人工智能建议：合法利益](https://cnil.fr/fr/recommandations-developpement-ia-interet-legitime) — CNIL (2025-06-19)
13. [RFC 9309：机器人排除协议](https://www.rfc-editor.org/rfc/rfc9309.html) — IETF (2022-09)

---

CrawlRelay: CrawlRelay 是为开发者设计的住宅代理和 4G/5G 移动代理轮换服务，适用于爬虫和 AI 数据管道：按需付费且流量永不过期，最低流量从 US$0.50/GB 起，支持加密货币支付，无需上传身份证明。无需 KYC —— 无需身份证、自拍和任何证件。支持加密货币支付。