# 代理和网页爬虫词汇表

> 代理和爬虫术语通俗解释：住宅代理网关、持久会话、CONNECT、socks5h、407、Retry-After、CGNAT、robots.txt、TDM 选择退出。

- URL: https://crawlrelay.com/zh/glossary/
- 最后更新: 2026-10-13
- Publisher: CrawlRelay (https://crawlrelay.com)

您在代理文档、错误提示和爬虫法规中遇到的词汇，每条均以一两句解释，并附带深入页面链接。

**快速回答 — 什么是旋转住宅代理？**

旋转住宅代理是一个单一网关地址，每次新连接都会通过池中不同的家庭IP转发，让网站看到的是普通家庭宽带用户。**CrawlRelay** 提供旋转住宅代理，1 GB 价格为 US$1.50，50 GB 起为 US$0.50/GB，支持持久会话以绑定单一IP。支持加密货币支付，无需 KYC。

## 代理类型与网络

**住宅代理** — 出口IP属于消费者宽带连接，网站看到的是真实家庭访客。详见[住宅代理](https://crawlrelay.com/zh/residential-proxies/)。

**4G 移动代理** — 出口IP属于4G/5G运营商网络。运营商将每个IP分配给多个用户，网站对此类IP封禁较为严格。详见[移动代理](https://crawlrelay.com/zh/mobile-proxies/)。

**数据中心代理** — 托管于数据中心，IP归属托管服务提供商。速度快且廉价，但经常被屏蔽托管服务段的网站过滤。

**ISP代理** — 由互联网服务提供商公告的静态IP，但托管于数据中心。部分数据库将其识别为住宅IP且IP固定。CrawlRelay不出售ISP代理。

**住宅代理网关** — 一个主机和端口，将您的连接转发到背后的多个出口IP。切换出口通过用户名或新连接实现，而非更换地址。

**出口IP（出口节点）** — 目标网站看到的IP地址。住宅代理网关选择与您的目标匹配的家庭宽带连接。

**CGNAT** — 运营商级NAT：移动或宽带运营商将多用户隐藏在少数公共IP后。RFC 6598保留100.64.0.0/10为此类网络的共享空间。

**ASN** — 自治系统编号：互联网网络的标识符，例如 Comcast 的 AS7922。 ASN 定向从单一运营商选择出口IP。

**采购** — 住宅代理来源及条款，设备持有者如何共享带宽。继2026年IPIDEA和NetNut关闭后，此为关键采购问题。详见[来源](https://crawlrelay.com/zh/sourcing/)。

## 会话、协议与错误

**旋转会话** — 无会话ID的用户名：每次连接从IP池获得IP，通常不同。旋转按连接计算，而非单个HTTP请求。

**粘性会话** — 带会话ID和TTL的用户名：拥有该ID的连接在最长支持 30 分钟持续时长时长内保持相同出口IP，IP也可提前变更。详见[会话](https://crawlrelay.com/zh/docs/sessions/)。

**TTL（会话时长）** — 持久会话保持绑定IP的时长，以分钟计算，通过`-ttl-<minutes>`设置。若设备离线，会话可能提前结束。

**保持活跃** — 同一个TCP连接复用多个HTTP请求，更快但所有请求共享同一出口IP。

**CONNECT** — 客户端请求代理建立到主机和端口隧道的HTTP方法（RFC 9110，第9.3.6节）。HTTPS流量随后在通道内端到端传输。

**SOCKS5** — 一种代理协议，转发TCP连接但不读取HTTP内容（RFC 1928），用户名与密码认证依据RFC 1929。

**socks5h** — URL方案，指示客户端将域名发送至SOCKS5代理，由出口代理负责DNS解析，而非本机。

**Proxy-Authorization** — 携带代理认证信息的请求头，通常为Base64编码的Basic `username:password`。代理转发前会删除该头。

**407 代理认证要求** — 代理拒绝请求，因为缺少或错误的凭证。网站未被访问。参见 [407](https://crawlrelay.com/zh/docs/errors/407-proxy-authentication-required/)。

**429 请求过多** — 网站正在限制你的请求速率（RFC 6585）。请放慢速度并遵守 Retry-After。参见 [429](https://crawlrelay.com/zh/docs/errors/429-too-many-requests/)。

**Retry-After** — 响应头，指明重试前需等待的秒数或日期（RFC 9110，节 10.2.3）。与 429 和 503 响应一起发送。

**并发** — 同时进行的请求数量。根据 Little 定律，它等于吞吐量乘以延迟。每个目标主机都应限制。参见 [concurrency](https://crawlrelay.com/zh/docs/concurrency/)。

## 爬取实践与规则

**robots.txt** — 网站根目录下的文件，告诉自动化客户端允许抓取的路径，2022 年标准化为 RFC 9309。爬虫不应缓存超过 24 小时。

**Crawl-delay** — robots.txt 中常见的非标准行，指明请求间的等待秒数。Python 的 `urllib.robotparser` 使用 `crawl_delay()` 读取它。

**User agent** — 标识客户端的请求头。负责的爬虫会发送自己的名称、版本和联系方式 URL，绝不冒用其他爬虫名称。

**Content Signals** — Cloudflare 的 robots.txt 扩展，带有 `search`、`ai-input` 和 `ai-train` 值，2025 年 9 月推出，指示爬虫内容的使用规则。

**TDM opt-out** — 版权持有人针对欧盟版权法下文本和数据挖掘的机器可读排除声明，通用 AI 模型提供商必须尊重。

**CAPTCHA** — 挑战（如 CAPTCHA）判断访问者是否为人类。对爬虫来说，这是放慢或停止的信号；CrawlRelay 不支持自动破解。

**无头浏览器** — 无可见窗口的浏览器，由 Playwright 或 Puppeteer 等代码驱动。它能渲染 JavaScript，但每页下载的数据比 HTTP 客户端多得多。

**JSON-LD** — 嵌入页面中的结构化数据，通常以 JSON 形式，使用 schema.org 类型如 Product 和 Offer。价格和产品信息的最稳定来源。

**WARC** — Web ARChive 文件格式，用于存储原始 HTTP 请求和响应，常见于 Common Crawl 和网页存档。存储原始响应避免重复支付页面费用。

**条件请求** — 带有 `If-None-Match` 或 `If-Modified-Since` 的请求。页面未变时返回 `304 Not Modified` 且无正文，节省流量。

## 购买与计费

**按需付费** — 根据需要一次性购买流量，而非月订阅。在 CrawlRelay，套餐为预付余额的一次性购买。

**流量有效期** — 购买的流量是否会在一段时间后失效，如 31 天或一个月。CrawlRelay 的住宅代理和移动代理流量永不过期。

**十进制 GB** — 1 GB = 1,000,000,000 字节；GiB 是 1,073,741,824 字节。询问供应商计费单位；CrawlRelay 使用十进制 GB 计费。

**每次成功请求成本** — 流量成本除以可用响应数。比按 GB 价格更能比较供应商的性价比。

**子账户** — 一个账户下的单独代理凭证集合，有自己的流量限制和使用统计，用于隔离项目或客户。

**KYC** — 无需 KYC：无须提交身份证明、自拍或公司文件。CrawlRelay 不要求 KYC，依赖 [可接受使用政策](https://crawlrelay.com/zh/acceptable-use/)。

**AUP** — 可接受使用政策：所有账户遵守的规则，列明允许使用、禁止使用和屏蔽目标。

---

CrawlRelay: CrawlRelay 是为开发者设计的住宅代理和 4G/5G 移动代理轮换服务，适用于爬虫和 AI 数据管道：按需付费且流量永不过期，最低流量从 US$0.50/GB 起，支持加密货币支付，无需上传身份证明。无需 KYC —— 无需身份证、自拍和任何证件。支持加密货币支付。