如果你最近在琢磨要不要给 AI 单独做一套内容,先弄清一个词:AI cloaking,意思是给 AI 看的内容和给人看的不一样。Search Engine Journal 在 2026 年 10 月 27 日发了一篇由 Chris Green 写的文章,讲的就是这件事——我们在为 AI 搭一个"影子网站",而多数人没意识到红线在哪。这篇文章把问题从"要不要做 AI 专用格式"换成"你给 AI 的和给人的,是不是同一份信息",并给外贸站一条能执行的自查路径。
"影子网站"是什么:AI 时代冒出来的新诱惑
所谓影子网站,是指品牌在主站之外,为机器单独维护一份内容。它可能是一个只对爬虫开放的页面,也可能是在同一页面上按 User-Agent 插入的额外文本。表面看是"优化 AI 可见性",实质上是把公开网站和机器读到的版本拆成了两套资产。
原文的核心区分很干脆:把同一信息换成更易被智能体读取的格式,没有问题;为 AI 单独造一份用户看不到、内容又不同的信息,才是风险。作者还提醒,AI 搜索提供方长期没有动力去信任品牌刻意与公开网站分开存放的信息,因为这会直接损害答案质量和用户信任。
红线只有一条:同一信息两种呈现 vs 两套不同信息
把做法分成两侧,界线其实很清楚:
- 正当做法:结构化数据、XML sitemap、API、产品 feed、把页面内容转成 Markdown——这些都是多年来给机器另一种格式的常规手段,信息本身和对人展示的一致。
- 风险做法:只对 AI 或爬虫可见的另一套说法,包括按 UA 插入关键词、只给爬虫开放但用户看不到的页面。
原文也明确了两条限定,避免把话说死:并非所有 AI 专用格式都是 cloaking;要求 AI 和人用完全一样的方式读网站,同样不现实。所以这不是"要不要伺候机器"的问题,而是"你给机器的信息,是不是从同一份事实里长出来的"。
谷歌怎么定义 cloaking,以及它已经把"生成式 AI 回答"算进去了
谷歌垃圾政策文档对 cloaking 的现行定义是:向用户和搜索引擎呈现不同内容,意图操纵排名并误导用户。官方给的例子包括给搜索引擎看旅行页、给用户看折扣药品页,以及只在搜索引擎 UA 请求时插入文本或关键词。文档里还有一个付费墙例外:谷歌能看到与有权限用户相同的完整内容,并遵循 Flexible Sampling 指引时,不算 cloaking——注意这是有限定条件的例外,不要理解成"会员内容都安全"。
更值得注意的是适用范围。据谷歌官方文档,其垃圾政策已明确包含"操纵谷歌搜索中的生成式 AI 回答"。也就是说,专为 AI 回答定制一套差异化内容,同样落在政策文字覆盖的范围内。这里只陈述政策原文,不推断具体处罚案例。
把时间线拉长看会更清楚:Panda(2011,低质内容)、Penguin(2012,链接垃圾)、Helpful Content(2022,奖励为人而写的内容)、2024 年更新的垃圾政策(规模化内容滥用,不论 AI 还是人工生成)。手段在变,针对"操纵"这条线一直没松。
正面样本:Cloudflare Markdown for Agents 为什么不算"第二份内容"
据 Cloudflare 官方文档,Markdown for Agents 是在边缘层把同一个 HTML 页面转换成 Markdown 返回,请求方需要带 Accept: text/markdown 请求头。Pro、Business、Enterprise 及 SSL for SaaS 客户免费使用;它只转换 HTML,解压后上限 6 MiB(截至官方文档现行说明)。关键点在于:它不是另写一份内容,而是同一页面的另一种呈现,所以符合"同一信息换格式"的逻辑。这里不能说谷歌"认可"或"批准"了这个功能——谷歌文档并没有提到它,只能说它在逻辑上不构成第二份内容。
Cloudflare 这类边缘层能力降低的是"被找到"的门槛。我们在ChatGPT 搜索收录门槛变低之后的外贸站自查清单里讲过:被找到不等于被引用,更不等于有人来问价。让 AI 更容易读到你,只是第一步。
llms.txt:是给 AI 指路,不是给 AI 另写一本书
llms.txt 是社区提案,不是正式标准,也不是谷歌标准或行业标准。据规范 v2,文件放在站点根目录或某个子路径下,覆盖该路径下的页面;文件本身保持精简,用链接指向对应的 Markdown 版页面,细节由链接承载。它和 sitemap、robots.txt 是互补关系,不是替代关系。
至于 llms.txt 能不能带来曝光,可以先看我们之前的llms.txt 实测结论:目前没有证据表明它能提升 AI 回答里的曝光或带来引荐流量,相关说法更多是猜测。做可以,但别指望它带来询盘。它的作用是指路,不是加分项。
最容易出事的地方:机器可读版和官网说法对不上
原文提了两个没有答案的追问:智能体可能只取最少的摘要就离开;当机器可读版和公开网站说法不一致时,谁来判定哪边更可信?作者认为目前没有答案——我们也不替它给答案,只把它当成风险提示。
落到外贸场景,最容易出问题的就是产品参数、认证说法、交付条款这三类信息。它们在产品 feed、结构化数据和页面上必须一致。接入了 AI 购物渠道,不代表 AI 拿到的就是你官网上那份准确信息,这个坑我们在AI 购物渠道开通不等于 AI 能答对买家问题里提过。买家问的是功率、材质、认证编号、交期,如果 feed 里写一套、页面上写另一套,AI 摘要给出的答案就会和你的官网打架。
外贸站自查清单:一个权威来源,多种输出格式
目标只有一个:一个可维护、可验证的权威来源,多种输出格式。不要另建一套需要单独维护、单独治理的第二内容资产。具体动作可以按下面几步走:
- 盘点:列出网站对外的全部机器可读输出,包括 sitemap、schema、产品 feed、API、llms.txt、Markdown 版本,以及第三方 GEO(生成式引擎优化) 插件自动生成的页面。
- 逐项比对:这些输出里的关键事实是否和对人展示的页面一致,重点看产品参数、认证、联系方式、条款。
- 排查差异化输出:有没有按 User-Agent 插入额外文本或关键词的配置,有没有只对爬虫开放的页面。
- 定一个权威来源:机器版本由 CMS 或页面自动生成,不手工另写一份。
- 指定负责人:改页面时机器版本同步更新,避免出现"只对 AI 有用的信息"带来的治理问题。
- 反向检查:只对人有用、机器读不到的信息,会带来可见性问题,比如关键参数只放在图片里,或只能在交互里点开才看得到。
如果想系统梳理网站给 AI 的所有输出口径,可以参考我们的GEO/AI 搜索优化服务思路:先统一权威来源,再谈格式。
不确定你网站给 AI 的内容和给客户看的是不是同一套?留言告诉我们你的网站和在用的插件/feed,我们帮你梳理哪些属于正常换格式、哪些需要收口。
参考资料
- Search Engine Journal《Why We Should Fear The Shadow Web We're Building For AI》,Chris Green,2026-10-27:https://www.searchenginejournal.com/why-we-should-fear-the-shadow-web-were-building-for-ai/593930/
- Google Search Central 垃圾政策(含 cloaking 定义与付费墙例外):https://developers.google.com/search/docs/essentials/spam-policies
- Cloudflare 官方文档 Markdown for Agents:https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/
- llms.txt 规范 v2(社区提案,非正式标准):https://llmstxt.org/