博客

OpenAI 开始为“页面变没变”付费:给 AI 智能体做优化,成了新版 SEO(SEO:搜索引擎优化)

Cloudflare确认Act 4首笔收入,OpenAI为页面变更信号付费。外贸站如何逐个爬虫盘点放行规则与页面新鲜度。

做外贸的朋友最近可能都听到一个新鲜的词——AI 智能体优化。它不是什么新软件,也不是又一个要你充值的推广位,而是 Cloudflare 首席执行官 Matthew Prince 在最近一次财报电话会上给出的说法:帮助客户吸引 AI 智能体来访问,并把这件事称作"新版 SEO"。据 Search Engine Journal 2026 年 11 月 8 日的报道,Cloudflare 在第三季度财报中首次确认了来自 Act 4 产品线的收入,而 Prince 提到的一个细节颇值得玩味:OpenAI 正在付费购买"页面何时更新"这类提示信号。

OpenAI 到底在为什么掏钱

先把这件事说清楚,免得被标题带偏。据 Search Engine Journal 报道,OpenAI 付费买的不是你的产品页排名,也不是让你的网站出现在某个推荐位,而是页面变更信号——比如一家餐厅改了价格,网站把这个"我变了"的消息告诉 AI 公司,爬虫就不必隔三差五地把没变过的页面重新抓一遍。Prince 表示,他预计其他 AI 公司也会跟进这种做法。

需要提醒的是,双方的合作早在 2026 年 7 月 8 日就已作为研究试点公开,信号内容包括内容新鲜度和页面变更;10 月 15 日双方公布了早期结果,我们此前在关于 Cloudflare 与 OpenAI 搜索试点的报道中已经聊过试点阶段发现数亿页面的情况,这里不再重复。这次的新信息在于:试点已经走到了"有人付钱"这一步。

至于金额和起付时间,Prince 未在此次电话会上披露 OpenAI 的付款金额或起付时间,财报也未单列 Act 4 收入。Cloudflare 第三季度总营收为 7.825 亿美元,同比增长 39%。所以别去猜"OpenAI 给了多少钱",公开信息里没有这个数字。

客户分成两派:要流量的和要屏蔽的

Prince 在电话会上把 Cloudflare 的客户分成两类,这个分法对做外贸的我们其实很有参考价值。

  • 要流量派:希望尽可能多的 AI 智能体来访问自己的网站,Cloudflare 帮他们吸引并高效承接这些访问,这就是 Prince 口中的"新版 SEO"。
  • 屏蔽派:把智能体视为威胁,要求直接挡住。据报道,被屏蔽的流量不收费。

具体到操作层面,Cloudflare 控制台里的 AI Crawl Control 可以让你逐个爬虫决定放行还是拒绝,而不是一刀切全开或全关。建议先核对各爬虫的放行与拒绝规则:登录控制台,再对着服务器日志,把 GPTBot、ClaudeBot、PerplexityBot 这些常见爬虫的现状过一遍,看清楚哪些在放行、哪些被拒绝;如账号已获 Pay Per Crawl 私测权限,再检查收费配置。据 Cloudflare 官方文档(developers.cloudflare.com 的 AI Crawl Control 页面)说明,这项功能就是按爬虫维度做放行与拒绝管理的。

一笔成本账:1,000 家餐厅和 999 个白跑

Prince 举了一个很直观的例子:一个智能体帮用户挑餐厅,可能要抓取 1,000 家餐厅的网站,最后只有 1 家成交,剩下 999 家承担了被抓取的成本却什么都没拿到。据报道,这是举例说明,不是统计数据,但道理很清楚——被抓取是有成本的,而成本不一定有回报。

他还预计,非人类流量达到人类流量 1,000 倍的时间点,会比此前预估的五年更早到来。这里要划重点:1,000 倍是预测,不是现状。预测可以当作方向参考,但不能拿去写进你的预算表。

另一个方向是微支付。Prince 的设想是,智能体越能说明来访目的(比如"我在为一个四口之家规划夏威夷旅行"),网站越可能少收费甚至免费放行。Cloudflare 的 Monetization Gateway 和 Pay Per Use 已经在 9 月 30 日进入 beta。听起来很美,但请注意边界:OpenAI 为页面变更信号支付的费用目前流向的是 Cloudflare 的爬取效率服务,参与试点的网站本身是否能分到钱,电话会上没有说明。所以别把"网站能分钱"当成既定事实去规划。

边界在哪:具体服务与效果仍需区分

还有两点得说清楚。第一,Prince 此次没有披露具体服务名称、定价或购买方式,"新版 SEO"目前更像是一个方向性的说法:此次电话会未点名一款用于智能体优化的具体服务,也未介绍相应定价或购买方式。第二,付费信号目前解决的是"爬虫少跑冤枉路"的效率问题,它不直接等于你的页面会被 AI 推荐。想了解 AI 搜索里品牌可见度的整体盘子,可以参考我们整理的Cloudflare AI 可见度报告解读。

怎么做:三件今天就能动手的事

大方向归大方向,落到外贸企业的日常运营,我建议先做这三件不需要额外预算的事。

  • 第一,把爬虫现状盘一遍。进 Cloudflare 控制台看 AI Crawl Control,再对照服务器日志,先核对各爬虫的放行与拒绝规则;如账号已获 Pay Per Crawl 私测权限,再检查收费配置。哪些爬虫在抓你的产品页、抓取频率如何、有没有被误挡,都要有数。别默认"全开就是拥抱 AI",也别"全关就是保护自己",先看清楚再定。
  • 第二,把 sitemap 的新鲜度做扎实。页面更新之后,sitemap 里的 lastmod 有没有同步改?价格页、库存页这类高频变更的页面,是不是及时反映了最新状态?页面发生实质更新后,让 lastmod 准确反映更新时间,并抽查其与页面内容是否一致。Google 的这项说明针对 Google 如何使用准确的 lastmod,不能据此推断其他 AI 爬虫会采用相同机制。这一做法与 Google 官方 sitemap 文档一致,我们此前在关于 AI 爬虫与 sitemap、RSS 的整理中也聊过。
  • 第三,按页面类型分档,别一把抓。产品和价格页优先保证可抓与新鲜度,低价值的聚合页、标签页可以考虑限制抓取。判断标准很朴素:先算这个页面"被 AI 抓取的成本"和"它带来的询盘",再决定放哪一档。结合抓取请求量、服务器资源消耗和可追踪的询盘表现定期调整规则,这个账每个季度可以重新算一次。

说到底,AI 智能体优化这件事现在还处在"方向明确、产品模糊"的阶段。对做外贸的我们来说,真正能抓在手里的,是把网站的可抓性、新鲜度和页面分层这些基本功做对。如果你的团队想把 AI 搜索这条线系统地理一遍,可以看看我们的AI 搜索优化服务,或者直接联系我们聊聊你现在的爬虫日志和页面结构,先做一次体检再谈投入。

参考资料

相关阅读

同一个词贵了约两成:14家B2B广告主同关键词点击成本同比涨约21%

Grey Matter追踪14家B2B广告主1349个非品牌词:控制花费、位置与质量得分后同词点击成本同比涨约21%,附同词自查三步。

阅读全文

YouTube剪辑工具转Shorts:播客切片自动回链原片,先对10国7语名单

YouTube Studio剪辑工具扩展到Shorts:按字幕选段转竖版并自动回链原片,AI推荐只覆盖10国7语,不处罚不等于不影响推荐。

阅读全文

AI智能体流量10月涨到8月的8倍:Muse一家占59%,八成半只逛不买

HUMAN10月报告:智能体请求约为8月的8倍,Meta与OpenAI占近九成,85%落在商品与搜索页;签名目录迁到muse.ai,黑五前先做三件事。

阅读全文

聊聊你的外贸获客现状

不用先准备材料,把现在最头疼的事说清楚就行。