探索
探索12 分钟阅读

网站反爬虫与防自动化的分层手段

约定、边缘、客户端挑战、业务风控四层;越靠后越能精确放行,成本与误伤也越高

探索地图:路径与状态。 本文是路线图不是结论:它说明对象是什么、有哪几条路、每条走到哪一步;已落地的结论会链到经验或知识文章。地图里未落地的判断仍可能变,引用前请先复核。

反自动化不是单一开关:按请求经过的位置分成约定、边缘、客户端、业务四层,每层只挡自己能判定的请求;目标不是拦住所有 bot,而是抬高滥用成本、同时放行搜索引擎与正常用户。

  • 约定层(robots.txt、服务条款、数据分级)只表意不执行;本机 curl 实测 Disallow 路径仍返回 200。
  • 边缘层(IP/ASN 信誉、WAF、限速、Bot Fight Mode)先挡量;误伤 API 与移动端是主要代价,BFM 还不能用 WAF Skip 做例外。
  • 客户端挑战(托管挑战 / Turnstile、PoW、蜜罐字段)回答「这次提交是否真人」,必须配服务端校验,不能替代限速。
  • 业务层(认证、配额、幂等、异常检测、降质响应)按身份与动作判定,是唯一能精确放行的层,但要自建状态与监控。

是什么

反爬虫针对批量抓取内容;防自动化覆盖更广——撞库、刷单、养号、礼品卡枚举、漏洞扫描都在内,OWASP 把它们编成 OAT-001~OAT-021。两者都是滥用治理的子集。

层判定依据代表手段挡什么挡不住什么
约定文本声明robots.txt、服务条款、公开数据分级善意爬虫自愿遵守任何不读声明的客户端
边缘IP/ASN、请求速率、特征规则WAF、IP 信誉、限速、Bot Fight Mode高频与已知恶意来源换住宅代理、低速长尾、登录态请求
客户端挑战浏览器执行能力与交互JS 挑战、Turnstile、PoW、蜜罐字段无浏览器环境的脚本、填表机器人有头浏览器、打码服务、真实会话
业务与数据身份、动作频率、交易异常API key/配额、MFA、幂等键、风控评分、降质/投毒具体账号上的恶意动作未接入这些信号的公开内容

不负责:DDoS 的容量消耗(属于容量层防护);SEO 的「不索引」(noindex 只影响搜索结果);访问控制本身(认证与授权才管「谁能看」)。浏览器端混淆与「必须执行 JS 才出内容」也只是提高解析成本,不构成服务端边界——本机读页面的实践见 CDP 直连读取 Chromium 页面内容。

使用方式

按端点选第一道控制

端点主要风险首选控制
登录撞库用户名与 IP 两个独立限速桶 + 泄露密码检查 + MFA
注册批量养号邮箱验证 + 每 IP/ASN 速率限制
搜索 / 目录内容抓取按身份限速 + 行为信号
结算 / 购物车刷单、囤货排队 + 服务端购买上限 + 持有时间
公开 API抓取、扫描API key + 每 key 配额 + 请求签名 + 分层数据
评论 / 表单垃圾内容蜜罐字段 + 人机验证 + 延迟发布

常见手段与代价

手段关键差别代价 / 何时选
robots.txt声明抓取边界,也可放诱饵路径零成本,但无强制力;不要当访问控制
IP / ASN 信誉与封禁按来源判断,能挡机房 IP误伤共享出口与移动网络;住宅代理绕过
WAF 自定义规则按 expression 匹配并放行或拦截要维护规则;只覆盖它评估的请求
限速按 IP、会话、身份、端点分别计数用滑动窗口或令牌桶;固定窗口会被边界突发绕过
Bot Fight Mode免费全站开关,识别已知 bot 并挑战无例外规则;会挑战 API 与移动 App 流量
Super Bot Fight Mode可按类别配置动作,支持 WAF Skip 例外付费套餐;仍无逐请求 bot 评分
客户端挑战 / Turnstile验证「这次提交是不是真人」必须服务端验 token;无障碍与体验成本,最后一步用
TLS / HTTP2 指纹JA3/JA4、帧序等被动信号,换 IP 也难藏误报需人工复核;采集前要过隐私披露
蜜罐 / tarpit / 水印记录隐藏字段抓填表机器人;慢响应拖垮吞吐对正常用户近乎无感;要服务端配合判定
认证 + 配额 + 幂等按身份与业务动作判定需要账号体系与状态;精确放行能力最强

最小声明示例,只表达意愿:

txt
User-agent: *
Disallow: /private/

Agent 与工具也要能读这份声明——站点给 agent 的内容通道另见 Electron 内置浏览器给 agent 读页面内容的接入与提取。

已验证

本机实测

  • 2026-11-19,临时目录放 robots.txt(Disallow: /private)与 private,用 python3 -m http.server 提供服务,curl 结果:
bash
$ curl -sS http://127.0.0.1:18977/robots.txt
User-agent: *
Disallow: /private
$ curl -sS -o /dev/null -w '%{http_code}\n' http://127.0.0.1:18977/private
200
$ curl -sS -A Googlebot -o /dev/null -w '%{http_code}\n' http://127.0.0.1:18977/private
200
  • 结论:声明写与不写,普通 HTTP 客户端都拿得到 /private;伪装 User-Agent 也不改变返回。蜜罐、限速、指纹等其余手段本机未实测。

官方文档确认

  • Google Search Central:robots.txt 无法强制爬虫遵守,可信爬虫照做,其他爬虫自行决定。
  • Cloudflare Bot Fight Mode:免费开关,对匹配 bot 特征的下发计算挑战;跑在 Ruleset Engine 之外,WAF Skip 与 Page Rules 无效,IP Access 先匹配则不再触发;可能挑战 API 与移动端。
  • Cloudflare 限速规则:按 expression 匹配并定义达到阈值后的动作;计数器按数据中心维护且有数秒延迟,不能保证精确的请求数到达源站;对已验证 bot 限速可能伤 SEO。
  • OWASP Bot Management and Anti-Automation:分三层(边缘 / 应用 / 业务);登录要分别设「每用户名」和「每 IP」桶,合成一个 login:<ip>:<user> 桶恰好放过了撞库;验证码是最后一步,过后仍要保留限速;响应可按置信度分级,不必一律 403。
  • Turnstile 的 token 寿命与服务端校验要求见 Cloudflare Turnstile 人机验证与服务端校验,此处不复述。

未验证

  • 本站静态站未开启任何边缘规则或挑战,也没有真实流量样本,无法估算误报率。
  • 指纹与行为评分的误报率、隐私披露边界未验证;确认方式:在真实流量上标注样本,对比命中率与人工复核结果。
  • 降质 / 投毒响应的法律与 SEO 后果未验证。

路径

路径要做的事状态产出
静态站声明写 robots.txt 与服务条款,明确抓取边界和联系渠道未开始—
边缘限速与 WAF在托管层按端点设限速,观察 Security Events 的误伤未开始—
表单人机验证测试域名接 Turnstile,服务端验 token 并核 hostname/action未开始—
业务侧日志与异常检测记录端点、IP/ASN、UA、决策信号,设速率与成功率告警未开始—
指纹与行为评分采样评估 JA4 / HTTP2 信号误报,先定隐私披露口径未开始—
降质 / 投毒响应明确法律边界后再小流量试验未开始—

待你决定

  • 本站是 nuxi generate 的纯静态公开站:先定目标是「省带宽」还是「防表单滥用」。前者用缓存 + 边缘限速 + robots.txt 就够,后者才需要挑战和服务端接口。
  • 指纹与行为评分涉及隐私披露,且对公开静态内容的收益有限,排在最后。
  • 选定一条后跑通并把结论写成 experience/ 文章,本表那一行补链接;本图不搬家。

参考