通过代理抓取时的 403 Forbidden：原因及解决方法

403 Forbidden是什么意思？

RFC 9110 定义 403 为拒绝访问：服务器理解请求但拒绝处理。与 401 不同，新凭据无法解决。网站可能在响应正文解释原因，但多数防火墙返回简短通用页面。

对爬虫来说，403 是策略信号。网站已决定该请求（IP、头部、频率等）不应获取页面。其中部分输入是您需要修正的，其他是网站明确的拒绝。

在Python、curl、Node.js和浏览器中a 403是什么样？

每个工具中相同的失败会有不同的提示信息。请在日志中搜索以下信息：

• Python requests： r.status_code == 403，通常带防火墙厂商生成的 HTML 正文
• Scrapy： Ignoring response <403 https://...>: HTTP status code is not handled or not allowed
• curl： 在详尽输出中显示 HTTP/2 403
• Playwright、Puppeteer： 导航成功，但 response.status() 返回 403 且页面显示拒绝访问信息

导致a 403的原因是什么？

最可能的首要原因：

• 地域。 目标 IP 所在国家未提供内容，或网站只服务某一区域。
• IP 信誉。 网站封锁与自动流量关联的地址段。数据中心 IP 居住型 IP 被封概率较高。
• 请求指纹。 缺失或不一致的头部，如无 Accept-Language 或客户端发送的伪 User-Agent。
• 访问频率。 单次会话请求次数过多，防火墙由 429 升级至 403。
• 访问规则。 页面需登录、付费账户，或在 robots.txt 及用户协议中禁止爬取。
• 代理策略。 某些目标被代理自身拒绝。CrawlRelay 按可接受使用政策覆盖此类类别。

如何一步步诊断a 403？

1. 用同一国家的普通浏览器加载该 URL。若浏览器也无法访问，说明页面不对该地区公开。
2. 对比爬虫发送的头部与浏览器发送的头部。
3. 查看目标网站的 robots.txt 和使用条款中关于自动访问的规定。
4. 分析时间分布：403 出现于请求次数达到 N 后，说明是访问频率问题而非 IP 问题。

# Use the URL that fails; with https://api.ipify.org instead, you test the gateway alone.
# "HTTP/1.1 200 Connection established" first, then the site's own status: the site answered.
curl -v -x http://USERNAME:[email protected]:7777 https://TARGET_URL

# Same test through the SOCKS5 port, with DNS resolved at the exit
curl -v --socks5-hostname gw.crawlrelay.com:7778 --proxy-user USERNAME:PASSWORD https://TARGET_URL

如何修复a 403？

• 选择正确国家，通过 country- 参数查看当地用户看到的网站版本。
• 发送真实且完整的头部。 使用带联系 URL 的 User-Agent 标识爬虫，并发送 Accept 和 Accept-Language。
• 降低速度。 减少每主机并发数，添加延迟。参见如何处理 403、429 和验证码 ]。
• 尊重拒绝。 若网站刻意阻止自动访问，请使用官方 API、数据许可或公开数据集。通过更换 IP 绕过封禁，违反我们的可接受使用政策 ]。

遇到a 403后要重试吗？

403 最多重试一次，并且需暂停且更换 IP。一次重试帮助区分单个受限地址与站点规则。若第二次仍返回 403，停止发送该 URL 的请求并重新审查设置。频繁发送 403 请求仅浪费带宽并加剧封禁。

403 Forbidden如何应用于CrawlRelay？

在 CrawlRelay，新的连接无会话 ID 通常会选择不同的居住型 IP，因此一次重试一般测试了新的 IP。重试时保持相同国家，因为切换国家会改变您比较的内容。针对银行、政府及支付门户类网站的请求会被网关根据 AUP 拒绝。

网关：gw.crawlrelay.com，端口7777（通过CONNECT的HTTP、HTTPS）和端口7778（SOCKS5）。用户名格式：USERNAME-country-{cc}-state-{state}-city-{city}-zip-{zip}-asn-{asn}-session-{id}-ttl-{minutes}。相关内容：429 请求过多 · 401 vs 407 · 处理 403、429 和验证码。