先说结论
Cloudflare 在 2026 年 7 月 1 日更新了 AI 流量管理思路，把相关自动化访问拆成 Search、Agent、Training 三类。更具体地说，搜索索引用一类规则，代表用户实时执行任务的 Agent 用一类规则，用来训练或微调模型的抓取再用一类规则。
这次变化不等于普通博客马上就能靠内容向 AI 公司收费。对大多数独立站长来说，它更像一个提醒：以后写在公开网页上的内容，不只是给人看的，也可能被搜索引擎、AI 搜索、智能体和训练系统以不同方式读取。
如果你做博客、工具导航、资料库、独立产品官网，或者把内容当成长期资产，就应该开始关注三件事：
- 哪些爬虫给你带来搜索流量；
- 哪些抓取是在复用你的内容；
- 哪些页面应该公开换曝光，哪些内容应该留在更可控的渠道里。
我的建议很简单：先检查，不要乱封。对小站来说，误伤搜索收录往往比 AI 抓取更伤。
Cloudflare 这次到底改了什么
Cloudflare 不是整个互联网的管理员，它管不了所有网站。但它服务了大量站点，所以它的默认策略会影响一批内容发布者。
这次最值得关注的是三个分类。
Search，指搜索相关抓取。它的目标是建立索引，让用户在搜索结果里找到你的网站。站长通常希望保留这一类访问，因为它可能带来真实流量。
Agent，指代表用户实时执行任务的自动化访问。比如用户让某个 AI 助手打开网页、读取页面、完成比价、填写表单或做资料整理。这类访问背后可能有人在等结果，但访问行为本身不是普通浏览器用户。
Training，指抓取内容用于训练或微调模型。这类访问对内容站长最敏感，因为它不一定带来访问量、署名或转化。
Cloudflare 官方还提到，很多爬虫并不是单一用途。一个 crawler 可能既用于搜索，也用于训练。Cloudflare 的方向是按行为分类管理，并鼓励 bot operator 把不同用途的爬虫分开。这样站长才能决定自己到底允许什么。
9 月 15 日这个日期怎么理解
Cloudflare 官方说，2026 年 9 月 15 日起，会为这三类流量设置新的默认策略。
这里有几个边界要说清楚。
第一，它不是对全互联网生效，只影响 Cloudflare 网络内相关站点。
第二，新默认策略主要针对新接入 Cloudflare 的域名。官方表述是，在展示广告的页面上，Training 和 Agent 默认阻止，Search 默认允许。
第三，多用途爬虫会按它的全部行为来处理。如果一个爬虫同时承担 Search 和 Training，而站长选择阻止 Training，那么这个混合用途爬虫也可能被挡住。
所以，原稿里那句“AI 公司必须在 9 月 15 日前区分爬虫”要稍微改一下。更准确的说法是：Cloudflare 正在把管理口径从“是不是 AI bot”改成“它在你网站上做什么”，并推动爬虫方把 Search、Agent、Training 分开标识。
为什么内容创作者应该关注
这件事跟普通 AI 用户关系不大，但跟内容站长关系很大。
过去做内容站，大家最关心的是收录。文章能不能进 Google、Bing、百度，能不能带来搜索访问。
现在问题变复杂了。AI 搜索可能读取你的内容，然后直接把答案给用户。Agent 可能临时访问你的页面，帮用户完成某个任务。训练爬虫可能把内容吸收到模型里，以后不再需要访问你的原网页。
对创作者来说，这不是简单的“反 AI”。问题在于边界。
你写一篇教程，是希望搜索引擎收录，然后用户点进来认识你。还是希望任何系统都可以拿去总结、复述、训练，却不带来访问和署名？这两个答案不一样。
如果你的网站已经有稳定搜索流量，更要谨慎。搜索爬虫和训练爬虫混在一起时，站长很容易陷入两难：想挡 AI 训练，又怕挡掉搜索入口。
我会从这 5 个维度判断
1. 成本：先检查，不要一上来就重配置
如果你已经在用 Cloudflare，最直接的成本不是钱，而是理解成本。
你需要知道：
- 网站是否接入 Cloudflare；
- 是否开启 Bot 管理、Bot Fight Mode 或 AI 相关规则；
- robots.txt 当前怎么写；
- Cloudflare 是否托管了你的 robots.txt；
- 网站日志里有没有明显异常抓取。
但如果你的网站刚搭好，文章还没几篇，不建议把主要精力放在防爬虫上。早期内容站更重要的是内容、收录和真实访问。
先检查，记录现状。不要复制一段网上的防爬规则就全站套上去。
2. 门槛：懂一点网站基础会更稳
这件事对纯公众号作者影响较小，因为公众号不是你完全可控的网站。
如果你有这些东西，就值得关注：
- WordPress 博客；
- 静态博客；
- 工具导航站；
- Notion 转网站；
- 文档站；
- 独立产品官网；
- 付费资料展示页。
至少要理解几个概念：DNS、CDN、robots.txt、User-Agent、搜索引擎收录、访问日志。
如果这些词都还很陌生，先别急着改规则。先打开 你的域名/robots.txt，看看现在到底写了什么。
3. 国内用户限制：Cloudflare 不是万能加速器
国内站长用 Cloudflare 要格外注意两点。
第一，访问速度不一定稳定。特别是图片多、页面资源多的内容站，免费方案不一定总是适合国内用户。
第二，安全规则可能误伤正常访问。有些站长一看到“防爬虫”，就把拦截级别拉满。结果 AI 爬虫没挡多少，Googlebot、Bingbot、RSS、监控服务和普通读者先被挡住。
Cloudflare 是工具，不是自动正确的答案。
4. 风险：最怕误伤搜索流量
对内容站来说，最怕的不是 AI 抓取本身，而是你把正常搜索入口堵掉。
我会把爬虫粗略分成四类：
- 搜索引擎爬虫：通常要保留；
- AI 训练爬虫：可以按内容策略限制；
- Agent 访问：看页面类型决定，不一定全挡；
- 可疑批量抓取：先看日志，再制定规则。
不要看到“爬虫”两个字就全部屏蔽。尤其是新站和小站，搜索流量仍然是最重要的入口之一。
5. 替代方案：内容分层比单纯防爬更重要
如果你不想折腾 Cloudflare，也可以从更朴素的地方开始。
先写清楚 robots.txt。它不是强制法律墙，但能表达你的边界。
给文章加来源标识。比如作者名、网站名、发布日期、更新时间、版本号。
把内容分层。公开网页放入门解释、普通测评和基础教程。更具体的配置表、成本清单、失败记录，可以放到邮件列表、会员区、付费文档或自己的知识库。
重要内容不要一次性全部公开。公开内容负责被发现，核心内容负责沉淀用户。
普通站长的检查清单
如果你有自己的网站，我建议按这个顺序来。
第一步，确认网站是否接入 Cloudflare。
没有接入也不用焦虑。这次政策对你没有直接配置影响，但仍然说明行业方向在变。
第二步，打开 你的域名/robots.txt。
看里面是否有 User-agent、Allow、Disallow、Content-Signal 这些内容。不要急着复制别人的配置。
第三步，看你的网站是否依赖搜索流量。
如果你主要靠 Google、Bing、百度获得访问，防爬策略要保守。
第四步，检查 Cloudflare 后台的 Bot 或 AI 爬虫相关设置。
不确定每个开关的含义时，不要直接开最高防护。先观察日志，再小范围测试。
第五步，选一个小范围测试。
比如只对某个子目录、某类页面或明显训练用途爬虫做限制。观察一到两周，看搜索收录、访问量、错误日志有没有变化。
第六步，给内容分三层。
- 完全公开：基础教程、入门解释、普通测评；
- 半公开：具体配置、踩坑记录、成本清单；
- 私有沉淀：账号信息、支付路径、关键资源、内部流程。
这不是为了把互联网关起来，而是让你知道每一类内容在换什么。
风险提醒
不要相信“开一个规则就能彻底防 AI 抓取”。正规爬虫可能会遵守规则，但不是所有抓取行为都规矩。
不要为了防 AI，把搜索引擎也挡掉。小站最怕入口被自己堵死。
不要把 Cloudflare 的新策略理解成“普通博客马上能向 AI 公司收费”。Cloudflare 确实在探索 Pay Per Crawl 和 Pay Per Use，但普通个人站长能不能拿到收益，还要看平台机制、内容价值和 AI 公司的参与程度。
不要复制来路不明的防爬规则。有些规则看起来很强，实际会误伤 RSS、搜索引擎、监控服务和正常用户。
适合谁重点关注
这件事适合以下几类人关注：
- 有独立博客的人；
- 做 AI 工具教程的人；
- 做 VPS、Cloudflare、网站搭建内容的人；
- 做资料库、导航站、知识库的人；
- 把内容当长期资产的一人企业；
- 已经使用 Cloudflare 管理网站的人。
如果你正在学习用 AI 做网站，可以先看我之前写的 Codex 入门教程 和 Codex 插件工作流。如果你想看一个已经上线的 Web Coding 小项目，也可以参考 影视聚合实时榜单。
不适合谁
如果你只是普通 AI 工具用户，没有网站，也不做内容沉淀，这件事短期内和你关系不大。
如果你只在公众号、小红书、视频平台发内容，也不用急着研究 Cloudflare 设置。平台会处理大部分抓取问题，你更应该关注内容备份、版权声明和私域沉淀。
如果你的网站刚搭好，文章还很少，先别把主要精力放在防爬虫上。先把内容做起来，再谈资产保护。
FAQ
Cloudflare 9 月 15 日的新默认策略已经生效了吗？
还没有。Cloudflare 官方写的是 2026 年 9 月 15 日起设置新默认策略。现在更适合做检查和准备，不建议还没看日志就全站强拦截。
robots.txt 能彻底阻止 AI 抓取吗？
不能。robots.txt 和 Content Signals 更像偏好声明，正规爬虫可能会遵守，但不等于技术防护。Cloudflare 官方也建议结合 WAF、Bot Management 等规则使用。
小博客应该屏蔽所有 AI 爬虫吗？
不建议一刀切。小博客更需要搜索流量，如果规则误伤搜索引擎，损失可能比 AI 抓取更大。更稳的做法是先保留 Search，谨慎处理 Training 和明显异常抓取。
普通站长能靠 Cloudflare 向 AI 公司收费吗？
短期不要这样期待。Cloudflare 确实在探索 Pay Per Crawl 和 Pay Per Use，但普通个人站长能否拿到收益，还取决于平台机制、内容价值和 AI 公司的参与程度。
我的建议
普通创作者先观望，但要开始建立内容边界意识。
如果你已经有独立站，先做三件事。
第一，先检查，不要急着改。看清楚自己有没有用 Cloudflare，robots.txt 怎么写，搜索流量占比多少。
第二，把公开内容和核心内容分层。公开网页适合做入口，高价值的实测记录、流程表、成本清单，不一定全部无差别公开。
第三，关注 2026 年 9 月 15 日之后 Cloudflare 的默认策略变化。等策略正式落地后，再根据日志做小范围测试。
这件事真正提醒普通人的不是“AI 公司会不会付钱”，而是：写在网上的内容，已经不只是给人看的。它也可能被 AI 搜索、Agent 和训练系统读取、总结、复用。
以后做内容的人都要问自己一个问题：哪些内容适合换曝光，哪些内容应该当资产保护起来？
参考资料
- Cloudflare Blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare Blog: Giving users choice with Cloudflare’s new Content Signals Policy
- Cloudflare Blog: Making AI search smarter