2026 年网页爬取是否合法？爬虫必知

哪些法律适用于网页爬虫？

项目需自查五个问题：

1. 访问权限。 是否绕过登录、付费墙或其他门槛？计算机滥用法关注授权，公开页面与受保护页面区别对待。
2. 规避措施。 是否绕过技术限制，如反机器人系统？美国 DMCA 第 1201 条目前正针对爬虫检验。
3. 合约问题。 是否同意网站条款，比如注册账户？即便访问合法，违反条款仍可能构成合约纠纷。
4. 内容复制。 是否复制受版权保护文本、图片或数据库？版权及欧盟数据库权保护不只是事实内容。
5. 个人数据。 数据是否能识别个体？那么数据保护法规，如 GDPR 或美国州隐私法适用，无论信息公开与否。

美国的法律立场是什么？

• 计算机欺诈和滥用法。 继最高法院 2021 年 Van Buren 案后，联邦第九巡回法院在 2022 年 hiQ 诉 LinkedIn 案认定抓取公开数据不构成“未经授权访问”。同案判定 hiQ 违约并和解。
• 使用条款。 在 2024 年 Meta 诉 Bright Data 案，加州法院判 Meta 条款未禁止注销状态下抓取公开数据；Meta 撤诉。2024 年 X 公司对 Bright Data 指控被驳回并和解。
• 反规避。 两起 2026 年案检验绕过反机器人系统是否违反 DMCA 第 1201 条。Google 诉 SerpApi 案首次起诉已驳回，修订起诉状待审。Reddit 诉 SerpApi 等 案对被告部分动议拒绝，部分待审；无责任判决，法院未判实质案情。
• 版权与 AI。 2026 年 9 月，第 3 巡回认定 Thomson Reuters 诉 Ross 案中基于 Westlaw 头注训练非生成型法律工具不构成合理使用。

欧盟和英国的法律立场是什么？

• 文本与数据挖掘。 欧盟版权法允许合法访问内容的文本及数据挖掘，除非权利持有人以机器可读方式保留该权利。Kneschke 诉 LAION（2025 年 12 月，汉堡高级区域法院）判定 LAION 可适用科研 TDM 例外，普通文本保留在 2021 年技术下不被视机器可读，案件可上诉联邦最高法院（BGH），技术演进可能影响判决。商业爬虫今日应视普通语言条款为约束。
• AI 法案。 通用 AI 模型提供商须制定识别和尊重此类保留的政策（第 53 条）。2025 年行业行为准则承诺遵守 robots.txt。
• 数据库权。 欧盟数据库权保护对数据库的实质投资，CV-Online Latvia 诉 Melons（2021 年）判定非法重复使用数据库若损害投资可侵权。
• 个人数据。 GDPR 适用于公开的个人数据。欧洲数据保护委员会 28/2024 意见指出合法利益可作为 AI 开发的法律依据（个案），法国国家信息与自由委员会（CNIL）于 2025 年 6 月发布了 AI 爬取建议。
• 英国。 Getty Images 诉 Stability AI（2025 年 11 月）高等法院驳回模型的二次版权主张；Getty 获准上诉。

如何降低爬取项目的法律风险？

• 仅限公开页面。 不使用登录、不触碰付费墙、不访问非自有账户。
• 尊重robots.txt和AI拒绝协议。 应用RFC 9309，遵守ai-train=no类训练数据相关信号，并记录检查内容与时间。
• 禁止绕过。 不破解CAPTCHA，不使用规避机器人检测的工具，不重试以绕过拒绝。详情见如何应对403、429和CAPTCHA。
• 认真阅读所依赖网站的条款，特别是如果您持有账户。
• 尽量减少个人数据，记录法律依据并保留处理异议的机制。
• 合理使用收集内容： 依据事实和分析比全文转载文本或图片更安全。
• 保持记录： 包括网址、日期、robots.txt版本及爬虫身份。

涉及实际风险时，建议咨询相关国家律师。

使用代理会改变爬取是否合法吗？

不会。代理改变请求看起来来源的位置，但不改变你收集内容或方式。无论是否使用代理，都适用同样的五个问题。有两点会变：一是代理供应商规则：CrawlRelay的可接受使用政策仅允许公开数据，禁止绕过和欺诈。二是供应商IP来源：2026年Google和美国当局因未获适当同意而破获了IPIDEA和NetNut网络，因此请询问供应商的IP来源。我们的IP来源详见来源页面。