博客

谷歌与必应拆开AI训练和引用控制:外贸站2027年前先盘点什么

谷歌将支持robots.txt共享AI训练信号,必应把训练与grounding拆成三档。两家分法不同,外贸站2027年生效前先盘点现有信号再分开决策。

2026 年 10 月底,谷歌和微软必应几乎同时宣布了一件事:两家开始提供更细的内容用途控制:必应将训练与 grounding 分开,谷歌则计划支持跨厂商训练偏好信号,但 Google-Extended 仍同时涉及训练与 grounding。对于靠询盘吃饭的外贸站来说,这可能是未来一两年里最值得花半小时想清楚的一次 AI 训练控制决策——因为两家厂商的分法并不一样。

示意图:网站页面内容流向不同的 AI 用途

先分清两件事:拿去训练,和在回答里引用你

很多站主把这两件事当成一件事,所以一看到「禁止 AI 使用我的内容」就一键全关,结果顺手把流量入口也关掉了。

训练,指的是把你的页面内容喂进模型、学进参数里,影响的是模型下一代的能力,对你来说是长期、间接、几乎无法归因的。grounding(引用)则完全不一样:用户提问时,AI 实时检索你的页面、把你的内容作为依据写进回答并附上链接,影响的是当下的品牌露出和点击。如果你还不清楚 grounding 引用具体是什么、为什么被引用对询盘有价值,可以先看我们之前那篇 AI 引用机制的解释。

顺带说一句边界问题:robots.txt 只管能不能抓、管不到抓完怎么用,这条我们此前单独讲过。而这次谷歌和必应做的事,正好是它的下一步——抓取之后的「训练」和「引用」两个用途,开始出现更细的偏好控制,但两家的拆分程度不同。

谷歌:一个共享 token,一次向多家厂商表达训练偏好

谷歌在 2026 年 10 月 30 日的 Search Central 博客里宣布(作者为 John Mueller),计划支持 robots.txt 里的一个共享 AI 训练控制信号。这个信号来自 IETF 的 AIPREF 工作组,核心思路是:你不需要给每一家 AI 厂商分别写一条规则,而是用同一个「policy token」一次性向所有参与的厂商表达训练偏好,需要单独定制的再单独写。

目前披露的信息显示,这个共享 token 的字面写法是 __usage_ai-training,用普通 robots.txt 分组按路径表达,可以全站禁止、也可以单路径允许,不引入新语法。有两个细节值得注意:一是通配的 User-Agent: * 不会被解读成这个 token,只写星号等于没表达训练偏好;二是厂商专属 token 属于更具体的表达,优先于共享 token。

需要强调时间口径:谷歌的目标是 2027 年初支持,这是计划,不是已经生效。而且 AIPREF 这份文件目前仍是 IETF 的 Internet-Draft 草案,尚未定稿,据参与该工作的从业者公开提醒,仍有一些实质性争议没有解决。所以现在不适合抢写未定稿的语法。

谷歌的连带取舍:退出训练信号,可能连 Gemini 引用资格一起退出

这里有个容易被忽略的连带关系,得讲清楚。

按谷歌官方说明,当你的站点用共享 token 退出训练、且没有单独写 Google-Extended 时,谷歌计划把它视同你禁止了 Google-Extended。反过来,只有显式允许 Google-Extended 的站点,才有资格出现在 Gemini Apps 的回答里、通过 grounding 获得点击。这两句都带条件,不能读成绝对规则。

为什么会连带?因为按谷歌官方的 common crawlers 文档,Google-Extended 本来就是一个 token 同时管两件事:一是内容能否用于训练未来代际的 Gemini 模型,二是能否用于 Gemini Apps 和 Vertex AI 的 grounding。它没有单独的抓取 UA,抓取仍走现有谷歌 UA,这个 token 只在 robots.txt 里起控制作用。一个开关管两个用途,你退出训练,引用资格自然跟着受影响。

另外必须划清范围:Google-Extended 不影响你的站点是否被谷歌搜索收录,也不作搜索排名信号。至于 AI Overviews 和 AI Mode 的屏蔽,那是 Search Console 里的另一套控制,跟这次说的不是一回事,这里只一句带过。

必应:训练、引用、有限引用,三档分开选

必应走的是另一条路——必应同样参与共享训练信号,并在此基础上增加独立的页级训练与 grounding 控制。据微软技术文档(经 Search Engine Land 逐字引用),三档分别是:AI Training 允许或禁止内容用于训练模型;AI Grounding 允许或禁止内容用于生成 AI 回答;Limited Grounding 则只允许内容支持微软自有的 AI 产品、不供第三方 grounding 服务。

这意味着你可以禁训练、同时保留在 AI 回答里的引用。比如一家媒体可以不让微软拿文章训练模型,但仍然允许 Copilot 引用这些文章。反过来,屏蔽 grounding「可能降低 AI 可见度」,但传统必应排名不受影响——这里的措辞是「可能」,别理解成必然。

细节上,训练偏好可以用 meta 标签或 HTTP 响应头覆盖到单页,grounding 本身就是页级控制、默认允许。时间线有四个节点,一个都不能漏:

  • 2026 年 12 月 15 日:临时 grounding 控制向使用旧 NoArchive / NoCache 指令的合格站点开放(注意是合格站点,不是所有站点);
  • 2027 年 2 月 1 日:必应开始按新偏好抓取页面;
  • 2027 年 3 月 1 日:使用旧指令的发布方完成新配置的截止日,此后 NoArchive / NoCache 不再被读作训练或 grounding 偏好;
  • 2027 年 9 月 30 日:临时 grounding 偏好到期。

还有两条微软方面的细则值得留意。按必应 FAQ 的口径,没有登记临时偏好的页面,到 2027 年 3 月 1 日会默认允许 grounding,直到微软重新抓取该页为止——也就是说,不登记本身会带来一个结果,而不是保持原样。另一条是:微软一旦在某个站点检测到任一新偏好,就不再理会该站仍留着的 NoArchive / NoCache 标签,旧标签在那之后不再起作用。这批规则由必应 blogs 的公告发布,作者是 Bing 首席产品经理 Krishna Madhavan。

顺便说一句,各家厂商一家一套规则,正是站主头疼的根源——Meta 那次的抓取条款调整就是例子。所以这次谷歌、必应、OpenAI、Anthropic 四家已宣布计划支持或采纳这一草案信号,才格外值得注意。目前能确认参与的就是这四家,不宜外推,而且该信号尚未生效。

两家摆在一起看:按目标分别决策

把两家的机制对照着看,不对称就出来了:必应侧可以「禁训练、留引用」干净地分开;谷歌侧如果用共享信号退出训练、又不单独声明 Google-Extended,就会连 Gemini Apps 的引用资格一起退出。还有一个容易被误读的点:如果退出共享训练信号、同时显式允许 Google-Extended,应理解为对谷歌作出例外;该例外同时涉及 Gemini 训练与相关 grounding。这个 token 管两种用途,没法只挑其中一半。

  • 只想禁训练、想保住引用:必应侧直接选禁训练、保留 grounding;谷歌侧若退出共享训练信号,同时显式允许 Google-Extended,应理解为对谷歌作出例外;该例外同时涉及 Gemini 训练与相关 grounding,并不等于只关训练、单独留下引用。
  • 只想控制引用、不管训练:必应侧调 grounding 档位(含 Limited Grounding);谷歌侧要留意 Google-Extended 同时管两种用途,无法凭这个 token 单独收紧 grounding、保持训练选择不变。
  • 想两边都收紧:必应禁止训练并禁止 grounding,但要接受 AI 可见度可能下降;谷歌侧退出共享训练信号且未显式指定 Google-Extended,即连带退出引用,等于放弃 Gemini Apps 露出。

对外贸站来说,默认的决策顺序建议是:先保引用,再单独决定训练限制。原因很朴素——grounding 引用带来的是 AI 回答里的品牌露出和点击,离询盘更近;训练带来的收益却很难直接变成询盘。所以别看到「禁止 AI 使用」就一键全关,也别指望在谷歌侧找到只关训练、单留引用的干净开关。

11 月更新补齐的细节:OpenAI 的时间表、草案的到期日

2026-11-02 更新说明:11 月 1 日,Search Engine Journal 把谷歌、微软、OpenAI 三家的表态合成一篇报道,又补齐了几处首发时没有的细节,本次更新只补这几处,旧文的机制对照和时间线没有改动。OpenAI 在其官方博客(2026 年 10 月 30 日前后)表示,目标是在未来几个月内实现(implement)这个共享训练信号;新信号不替代现有的 robots.txt 控制,现有的爬虫控制继续有效、继续被尊重;OpenAI 还鼓励其他 AI 提供商认同该信号。

还有一个未定项需要说明。据 Search Engine Journal 观察,OpenAI 的博客和爬虫文档都没有说明:当共享规则与站点已有的 GPTBot 规则冲突时,以哪一个为准。这是 SEJ 的单一来源观察,目前没有更多信息可以确认。对站长来说,实际含义只是决策时要留意这一点、等后续说明,不必现在就假定某种处理方式。

草案本身的进度也值得跟一下。这份训练偏好信号草案的提交人是 Anthropic 的 Kevin Kelley,它是一份个人草案(individual draft),有效期到 2027 年 5 月 3 日,除非有新版本替代;Kelley 计划将该设计提议为对 Content-Usage 草案的修改;这份 Content-Usage 草案由 Gary Illyes 等人合写,此前已被工作组暂置,工作组先推进词汇表部分。Anthropic 自家的进度是:Kelley 在工作组邮件列表中表示 Anthropic 已经开始开发这一功能,但要在全部服务落地还需要时间;截至 2026 年 10 月 30 日,Anthropic 新闻室没有相关公告,其爬虫帮助页列出的控制为 ClaudeBot、Claude-User、Claude-SearchBot 三种。

草案里给了一个具体示例,正是「全站退出训练、只给一个目录开口子」:对全站写 Disallow: /,同时对 /press-kit/ 目录写 Allow: /press-kit/,也就是资料包目录可以单独放行。需要强调的是,这只是草案里的示例,不是已经生效的正式写法,现在不建议照着改自己的 robots.txt。定义边界也说清楚:词汇表草案把 AI 训练定义为用内容去修改生成式 AI 模型的学习参数;只做分类、排名这类非生成任务的模型,不在这个定义范围内。

怎么做:2027 年生效前,外贸站先做这几件事

第一,现在先盘点。在 robots.txt 盘点各 token,记录「现在实际写了什么」:Googlebot、Google-Extended、GPTBot、Bingbot 各自是什么状态;另查页面 meta 和 HTTP 响应头中的 NoArchive / NoCache。存一版底稿。这一步不能偷懒,因为外贸站的 robots.txt 往往是建站时模板生成的、改版时被整表覆盖,AI 相关 token 经常在改版后悄悄丢失,或者几行之间互相矛盾。改版后要拿底稿对照复查。

第二,按上面的决策思路分开定。训练和 grounding 分两行做决策,不要一个「全禁」走天下。若退出共享训练信号、同时显式允许 Google-Extended,应理解为对谷歌作出例外;该例外同时涉及 Gemini 训练与相关 grounding,不能据此声称禁止 Gemini 训练、保留 Gemini grounding。

第三,2027 年前不急着乱改,先把日历标好。共享 token 尚未生效、具体写法以谷歌和 IETF 后续公布为准。用旧 NoArchive / NoCache 的站点,重点盯 2026 年 12 月 15 日和 2027 年 3 月 1 日;自家若没用旧指令,则以 2027 年 2 月 1 日为观察点。

第四,可选但有用:把含 NoArchive 的老页面清单先拉出来,方便 12 月 15 日之后第一时间去必应站长工具确认临时控制资格。

盘点完如果想把 AI 搜索可见度系统做起来,可以看本站的 GEO(生成式引擎优化) / AI 搜索优化服务。不确定自家 robots.txt 现在对各家 AI 是什么态度?把网址发给我们,我们帮你逐项盘点训练与引用信号,再一起定 2027 年前的配置方案。

参考资料

相关阅读

同一个词贵了约两成:14家B2B广告主同关键词点击成本同比涨约21%

Grey Matter追踪14家B2B广告主1349个非品牌词:控制花费、位置与质量得分后同词点击成本同比涨约21%,附同词自查三步。

阅读全文

YouTube剪辑工具转Shorts:播客切片自动回链原片,先对10国7语名单

YouTube Studio剪辑工具扩展到Shorts:按字幕选段转竖版并自动回链原片,AI推荐只覆盖10国7语,不处罚不等于不影响推荐。

阅读全文

AI智能体流量10月涨到8月的8倍:Muse一家占59%,八成半只逛不买

HUMAN10月报告:智能体请求约为8月的8倍,Meta与OpenAI占近九成,85%落在商品与搜索页;签名目录迁到muse.ai,黑五前先做三件事。

阅读全文

聊聊你的外贸获客现状

不用先准备材料,把现在最头疼的事说清楚就行。