博客

robots.txt 管不了 AI 怎么用你的内容:Google 本周两则澄清,外贸站该改哪几处

Google 澄清:方括号两种写法是不同 URL;robots.txt 只管能不能抓,不管抓完怎么用,附外贸站自查清单

这周 Google 那边有两条澄清,看着不相关,其实讲的是同一件事:协议和信号,只管它管得着的那一段。一条关于 URL 里的方括号,一条关于 robots.txt 的边界。对外贸站来说,这两条都不算新闻热度型的话题,但都踩在日常建站和改版的实际操作上。先说结论:robots.txt 只回答"能不能抓",不回答"抓完怎么用";方括号的两种写法,在标准层面就是两个不同的 URL。本期另一条 503 补丁的处理,我们在这篇 503 应急指南里单独讲过,这里不展开。

Google 本周澄清了两件常被搞混的事

第一条来自 John Mueller。10 月 19 日他在 Bluesky 上回答提问时说,URL 里写原始的方括号 [ ],和写成百分号编码的 %5B%5D,是两个不同的 URL,不是同一个地址的两种写法。他还承认,自己之前在这个问题上给过别人错误的答案。

第二条来自 Gary Illyes。10 月 21 日的 Search Central 视频里,他将 robots.txt 概括为表达访问偏好的协议。RFC 9309 规定的 Robots Exclusion Protocol(机器人排除协议),用于让站点表达希望爬虫遵守的访问规则,不构成内容使用授权;它只约束愿意遵守协议的爬虫能抓什么,管不到内容被抓走之后怎么用。这两条之所以值得外贸站主花十分钟看一下,是因为它们都容易被当成"差不多就行"的细节,然后在改版、换域名、上多语言的时候集中爆出来。

[ ] 和 %5B%5D 是两个不同的 URL

Mueller 的说法不是个人偏好,背后有标准依据。RFC 3986 第 2.2 节写得很清楚:一个保留字符换成它对应的百分号编码形式之后,两个 URI 不等价;把保留字符编码、或者把编码后的字节解码回保留字符,会改变大多数应用对这个 URI 的解读。方括号属于保留字符,所以 [ ] 和 %5B%5D 在标准眼里不是一回事。

那实际会发生什么?据 Mueller 的说法,如果一个站上两种写法同时存在、又返回同样的内容,Google 会分别抓取这两个地址,做去重,然后选一个。注意这里的分寸:这是抓取和去重的正常流程,不等于重复内容会受罚,不能据此推断排名会下降。

另外一个容易被忽略的点:Mueller 说,用了原始方括号的老站可以继续用,他不觉得这些站需要专门去改;但如果是他自己新建一个站,他不会这么建。这句话对老站和新站是两种建议,别混着用。

写法不统一,规范信号就会互相打架

真正会出问题的,不是"用了哪种写法",而是"同一个站上两种写法混着用"。Google 的规范化文档里,重定向和 rel=canonical 都是强规范化信号,sitemap 是弱信号;多种方法可以配合使用,但应指向同一规范 URL。但文档同时明确了一条硬规则:不能用不同的方法给同一个页面指定不同的规范 URL。也就是说,你的 canonical 指向 A,sitemap 里提交的却是 B,这会向 Google 提供不一致的规范化信号;Google 仍会自行选择规范 URL,结果可能与站点预期不同。

文档里还有一句很实在的要求:内链要统一指向规范 URL。依据 Google 的规范化建议,内链应指向规范 URL,各种规范化方法应保持一致。实际排查时,也建议检查结构化数据中表示同一页面的 URL 是否一致。URL 写法的另一个常见问题:连字符还是下划线,也是同一类"提前定好、全站统一"的事。

老站不用慌,新站别这么建

按目前披露的信息,处理方式可以分两种。已经在全站统一使用原始方括号的老站,可以继续用;是否调整应结合现有收录、链接和重定向情况评估,不必仅因这条澄清就全站改链。新站、或者正在改版的站,Mueller 本人也不会这样新建,做百分号编码是最省事的路径。如果正在改版或新建站,可以在外贸建站阶段就把 URL 规范写进开发要求,别等上线后再回头补。

外贸站有几个高发场景值得单独点一下。筛选参数:产品列表页的颜色、尺寸、价格区间筛选,如果建站模板使用方括号形式的数组参数,应检查是否产生多个内容相同的 URL。多语言路径:带语言代码的路径如果中间夹了特殊字符,编码方式要统一。产品型号:型号里带括号、斜杠、加号的情况不少,产品型号作为路径片段或参数值写入 URL 时,应按所在组件编码,区分型号内容与 URL 分隔符,并避免重复编码。建议在开发阶段明确这三类地址的编码规则,减少上线后的返工。

robots.txt 是"访问偏好协议",不是使用授权

第二条澄清更值得说透。Illyes 在视频里强调,robots.txt 表达的是站点对爬虫访问的偏好。遵守协议的爬虫据此决定抓取哪些路径,但这些规则不规定抓取后的内容用途,对不遵守协议的爬虫也没有强制力。所以"我在 robots.txt 里屏蔽了,AI 就不能用我的内容"这个推论,是不成立的。

这个区分对外贸站很实际。很多老板把 robots.txt 当成一个总开关,以为写一条 Disallow 就同时解决了"别抓"和"别用"两件事。实际上这是两个层面:常规的抓取允许或禁止规则不能直接表达内容用途限制。Google-Extended 则是通过 robots.txt 配置的特定用途控制 token,其适用范围应以 Google 官方说明为准。而且 robots.txt 本身是公开文件,谁能读、谁不读,你控制不了。

Google-Extended 到底管什么、不管什么

那"怎么用"这一层,Google 给的控件就是 Google-Extended。这里有几个常见误解要拆掉。第一,它不是一个独立的爬虫,没有自己的 HTTP user-agent 字符串,抓取仍然由现有的 Google user-agent 完成,这个 token 是在控制层面起作用的。第二,它管的是抓到的内容能不能用于训练未来的 Gemini 模型,以及用于 Gemini Apps 和 Vertex AI 上 Grounding with Google Search 的 grounding。第三,官方文档明确写了:它不影响搜索收录,也不是排名信号。

是否允许 Gemini 相关训练和 grounding,应按内容使用策略决定;Google-Extended 的设置不能代表所有 AI 产品的引用或展示行为,参见 GEO(生成式引擎优化)/AI 搜索优化。谷歌与必应最新把训练与引用拆开的控制方式(含跨厂商共享信号与 2027 年时间线),我们已在AI 训练与 grounding 控制的盘点文里系统对照过。反过来说,指望靠它让内容退出 AI Overviews,官方文档里没有这个说法,别按这个预期去做决策。AI 爬虫和站点控制权这块的上下文,可以对照爬虫权限扩张的讨论来看。

Content-Usage 草案和非英文路径的写法

视频里还提到了一个正在讨论中的机制:robots.txt 里的 Content-Usage 规则。据 Search Engine Journal 的报道,这是一份 8 月 19 日版的草案,会新增 Content-Usage 规则和对应的 HTTP 头,偏好只适用于爬虫已经获准抓取的路径。必须说清楚它的状态:这是 IETF 工作组的草案,尚未提交 IESG,按计划 2027 年 2 月 20 日到期,后续可能更新、替代或废止。它不是"新标准",Google 也没有说已经支持,不能假定 Google 或其他爬虫已经支持;现阶段不应依赖它实现内容用途控制。

另一个实操点来自同一段视频:robots.txt 里的非英文路径,建议写成百分号编码形式。视频里 Prommawin 的说法是,Google 的解析器能处理原始字符、会自己编码,但其他或更老的爬虫可能出错;屏幕示例把原始 emoji 路径标为"对 Google 可用、对别的可能出错",把编码形式标为"稳妥的标准写法"。视频中建议采用编码形式,以提高兼容性。

怎么做

不用一次全改,可以先按下面的顺序抽查。

  • 抽查四种写法是否一致。挑 10 个重要页面,核对内链目标、canonical、sitemap 条目,以及结构化数据中表示该页面的 URL。发现原始字符与百分号编码混用时,先确认它们是否指向同一内容、预期规范 URL 是哪个,再协调调整;结构化数据中的图片或其他实体 URL 不属于这一统一范围。运营可先整理样本;涉及页面源码、动态渲染或配置调整时,请开发协助。
  • 给新站和改版定一条 URL 规范。明确写进开发要求:区分 URL 的结构分隔符和数据字符;作为路径或参数值内容出现、可能与分隔符冲突的保留字符,按所在组件正确编码,避免重复编码;筛选参数、多语言路径、产品型号三类地址各给一个示例。老站如果全站统一用原始方括号,可以先不动,别为了这一条去做全站改链。
  • 把 robots.txt 的用途重新对一遍。看现在的规则是想解决"别抓"还是"别用"。如果是后者,常规 robots.txt 规则表达不了用途限制,要去看 Google-Extended 这类用途层面的控件;如果只是想挡住某些不必要抓取的路径,那 robots.txt 用对了地方。
  • 非英文路径改成编码写法。robots.txt 里如果有中文、emoji 或其他非 ASCII 字符的路径,改成百分号编码形式,兼容性更好,改完用测试工具验一遍规则是否仍然匹配。
  • Content-Usage 先别动手。等它有了正式版本再评估,现阶段不要依赖它。

不确定你站上的 URL 写法统不统一、robots.txt 有没有误伤 AI 和搜索?留言给我们,说一下你的网站情况,我们帮你看看该从哪一处开始查。

参考资料

  • Search Engine Journal, SEO(搜索引擎优化) Pulse, 2026-10-24:原文链接
  • Search Engine Journal 对 Illyes 视频的详细报道:链接
  • RFC 3986(IETF 标准):链接
  • Google Search Central 规范化文档:链接
  • Google 常见爬虫文档:链接

相关阅读

同一个词贵了约两成:14家B2B广告主同关键词点击成本同比涨约21%

Grey Matter追踪14家B2B广告主1349个非品牌词:控制花费、位置与质量得分后同词点击成本同比涨约21%,附同词自查三步。

阅读全文

YouTube剪辑工具转Shorts:播客切片自动回链原片,先对10国7语名单

YouTube Studio剪辑工具扩展到Shorts:按字幕选段转竖版并自动回链原片,AI推荐只覆盖10国7语,不处罚不等于不影响推荐。

阅读全文

AI智能体流量10月涨到8月的8倍:Muse一家占59%,八成半只逛不买

HUMAN10月报告:智能体请求约为8月的8倍,Meta与OpenAI占近九成,85%落在商品与搜索页;签名目录迁到muse.ai,黑五前先做三件事。

阅读全文

聊聊你的外贸获客现状

不用先准备材料,把现在最头疼的事说清楚就行。