做外贸的朋友最近可能都听到一个新鲜的词——AI 智能体优化。它不是什么新软件,也不是又一个要你充值的推广位,而是 Cloudflare 首席执行官 Matthew Prince 在最近一次财报电话会上给出的说法:帮助客户吸引 AI 智能体来访问,并把这件事称作"新版 SEO"。据 Search Engine Journal 2026 年 11 月 8 日的报道,Cloudflare 在第三季度财报中首次确认了来自 Act 4 产品线的收入,而 Prince 提到的一个细节颇值得玩味:OpenAI 正在付费购买"页面何时更新"这类提示信号。
OpenAI 到底在为什么掏钱
先把这件事说清楚,免得被标题带偏。据 Search Engine Journal 报道,OpenAI 付费买的不是你的产品页排名,也不是让你的网站出现在某个推荐位,而是页面变更信号——比如一家餐厅改了价格,网站把这个"我变了"的消息告诉 AI 公司,爬虫就不必隔三差五地把没变过的页面重新抓一遍。Prince 表示,他预计其他 AI 公司也会跟进这种做法。
需要提醒的是,双方的合作早在 2026 年 7 月 8 日就已作为研究试点公开,信号内容包括内容新鲜度和页面变更;10 月 15 日双方公布了早期结果,我们此前在关于 Cloudflare 与 OpenAI 搜索试点的报道中已经聊过试点阶段发现数亿页面的情况,这里不再重复。这次的新信息在于:试点已经走到了"有人付钱"这一步。
至于金额和起付时间,Prince 未在此次电话会上披露 OpenAI 的付款金额或起付时间,财报也未单列 Act 4 收入。Cloudflare 第三季度总营收为 7.825 亿美元,同比增长 39%。所以别去猜"OpenAI 给了多少钱",公开信息里没有这个数字。
客户分成两派:要流量的和要屏蔽的
Prince 在电话会上把 Cloudflare 的客户分成两类,这个分法对做外贸的我们其实很有参考价值。
- 要流量派:希望尽可能多的 AI 智能体来访问自己的网站,Cloudflare 帮他们吸引并高效承接这些访问,这就是 Prince 口中的"新版 SEO"。
- 屏蔽派:把智能体视为威胁,要求直接挡住。据报道,被屏蔽的流量不收费。
具体到操作层面,Cloudflare 控制台里的 AI Crawl Control 可以让你逐个爬虫决定放行还是拒绝,而不是一刀切全开或全关。建议先核对各爬虫的放行与拒绝规则:登录控制台,再对着服务器日志,把 GPTBot、ClaudeBot、PerplexityBot 这些常见爬虫的现状过一遍,看清楚哪些在放行、哪些被拒绝;如账号已获 Pay Per Crawl 私测权限,再检查收费配置。据 Cloudflare 官方文档(developers.cloudflare.com 的 AI Crawl Control 页面)说明,这项功能就是按爬虫维度做放行与拒绝管理的。
一笔成本账:1,000 家餐厅和 999 个白跑
Prince 举了一个很直观的例子:一个智能体帮用户挑餐厅,可能要抓取 1,000 家餐厅的网站,最后只有 1 家成交,剩下 999 家承担了被抓取的成本却什么都没拿到。据报道,这是举例说明,不是统计数据,但道理很清楚——被抓取是有成本的,而成本不一定有回报。
他还预计,非人类流量达到人类流量 1,000 倍的时间点,会比此前预估的五年更早到来。这里要划重点:1,000 倍是预测,不是现状。预测可以当作方向参考,但不能拿去写进你的预算表。
另一个方向是微支付。Prince 的设想是,智能体越能说明来访目的(比如"我在为一个四口之家规划夏威夷旅行"),网站越可能少收费甚至免费放行。Cloudflare 的 Monetization Gateway 和 Pay Per Use 已经在 9 月 30 日进入 beta。听起来很美,但请注意边界:OpenAI 为页面变更信号支付的费用目前流向的是 Cloudflare 的爬取效率服务,参与试点的网站本身是否能分到钱,电话会上没有说明。所以别把"网站能分钱"当成既定事实去规划。
边界在哪:具体服务与效果仍需区分
还有两点得说清楚。第一,Prince 此次没有披露具体服务名称、定价或购买方式,"新版 SEO"目前更像是一个方向性的说法:此次电话会未点名一款用于智能体优化的具体服务,也未介绍相应定价或购买方式。第二,付费信号目前解决的是"爬虫少跑冤枉路"的效率问题,它不直接等于你的页面会被 AI 推荐。想了解 AI 搜索里品牌可见度的整体盘子,可以参考我们整理的Cloudflare AI 可见度报告解读。
怎么做:三件今天就能动手的事
大方向归大方向,落到外贸企业的日常运营,我建议先做这三件不需要额外预算的事。
- 第一,把爬虫现状盘一遍。进 Cloudflare 控制台看 AI Crawl Control,再对照服务器日志,先核对各爬虫的放行与拒绝规则;如账号已获 Pay Per Crawl 私测权限,再检查收费配置。哪些爬虫在抓你的产品页、抓取频率如何、有没有被误挡,都要有数。别默认"全开就是拥抱 AI",也别"全关就是保护自己",先看清楚再定。
- 第二,把 sitemap 的新鲜度做扎实。页面更新之后,sitemap 里的 lastmod 有没有同步改?价格页、库存页这类高频变更的页面,是不是及时反映了最新状态?页面发生实质更新后,让 lastmod 准确反映更新时间,并抽查其与页面内容是否一致。Google 的这项说明针对 Google 如何使用准确的 lastmod,不能据此推断其他 AI 爬虫会采用相同机制。这一做法与 Google 官方 sitemap 文档一致,我们此前在关于 AI 爬虫与 sitemap、RSS 的整理中也聊过。
- 第三,按页面类型分档,别一把抓。产品和价格页优先保证可抓与新鲜度,低价值的聚合页、标签页可以考虑限制抓取。判断标准很朴素:先算这个页面"被 AI 抓取的成本"和"它带来的询盘",再决定放哪一档。结合抓取请求量、服务器资源消耗和可追踪的询盘表现定期调整规则,这个账每个季度可以重新算一次。
说到底,AI 智能体优化这件事现在还处在"方向明确、产品模糊"的阶段。对做外贸的我们来说,真正能抓在手里的,是把网站的可抓性、新鲜度和页面分层这些基本功做对。如果你的团队想把 AI 搜索这条线系统地理一遍,可以看看我们的AI 搜索优化服务,或者直接联系我们聊聊你现在的爬虫日志和页面结构,先做一次体检再谈投入。
参考资料
- Cloudflare CEO Likens AI Agent Optimization To A New Version Of SEO(Search Engine Journal,2026-11-08)
- AI Crawl Control 官方文档(Cloudflare Developers,官方文档)
- Build and submit a sitemap(Google Search Central 官方文档)