外贸网站做AI机器人管理,第一件事不是打开 robots.txt 复制一串 Disallow,而是先回答两个问题:哪些访问应该放行,哪些应该限制?然后核对 robots.txt 和 CDN/WAF 是否真的按同一套政策在执行。Search Engine Journal 在 2026 年 11 月 13 日刊出的一篇文章提出,过去那种"放行或屏蔽二选一"的机器人管理方式,在 AI 搜索场景下已经不够用了,SEO(搜索引擎优化) 团队需要的不只是一张屏蔽清单,而是一份成文的机器人政策。
为什么一张AI爬虫屏蔽清单已经不够用
过去的机器人管理常被简化为放行或屏蔽二选一。但 AI 搜索改变了这个前提。现在的场景是,一位海外采购负责人可能在 ChatGPT 里比较供应商,你的公开产品页如果无法被相关检索机器人读取,就可能不会出现在那次比较的候选名单里。对外贸企业来说,这类场景值得纳入网站运营的常规检查。
制定政策时,可以从三个方面考虑:内容使用(你的内容是否进入训练数据)、安全保护(敏感页面是否被访问)、搜索曝光(内容能否出现在 AI 搜索回答里)。这三个方面对应的动作完全不同,混在一张清单里处理,很容易拦错对象。
先分清访问目的:搜索、训练、实时检索、用户抓取与自主智能体
据 Search Engine Journal 这篇文章的划分,现在访问网站的机器人有几类不同的访问目的:传统搜索爬虫、AI 训练爬虫、为搜索回答实时取内容的检索机器人、用户发起的抓取,以及能自主浏览的智能体。它们常被统称为"AI bots",但目的差别很大。
这个分类是管理视角的划分,不是统一的行业标准。同一个机器人可能承担多种功能,具体身份要以各平台官方文档的说明为准。限制训练爬虫,是对相应平台训练抓取的控制;限制检索机器人,则可能影响该平台获取页面内容。具体影响应按平台官方说明判断。拦错对象的代价完全不同。
把机器人政策写成表:谁能访问哪些页面,由谁决定
把政策落成一张可分工的决策表,比写一段模糊的原则有用得多。建议的字段包括:机器人身份、访问目的、页面范围、允许或限制、执行位置、负责人、复审触发条件。
- 页面范围必须分层次。公开产品页、行业资讯页通常希望被检索机器人读取;登录后的报价单、客户资料页则应严格限制。一张表里既有"欢迎访问"也有"禁止入内",才符合真实业务。
- 执行位置要写清楚。是写在 robots.txt 里,还是配置在 CDN/WAF 的规则里,两者不能互相替代。
- 负责人和复审条件缺一不可。为每项规则指定负责人,便于配置变更后追踪复查。
填写时,先分别列出公开产品页和登录后页面,再为每类访问指定执行动作、负责人和复审条件。
robots.txt与CDN/WAF:声明和实际拦截必须对得上
据 Google Search Central 的官方文档,robots.txt 是用来管理爬虫流量的文件,规则靠爬虫自愿遵守,它不能强制爬虫行为,也不是把网页挡在搜索引擎之外的机制。希望公开页面不出现在 Google 搜索结果中,可使用 noindex,并确保 Google 能抓取页面、读取该指令;敏感内容应使用身份验证等访问控制,不能只依赖 robots.txt。还有一点常被忽略:被 robots.txt 屏蔽的 URL,如果被别处链接到,仍可能被索引并出现在结果中,只是显示的信息有限。
真正的执行发生在请求层。据 Cloudflare 官方机器人文档,其机器人防护产品按档位区分:免费的 Bot Fight Mode 用一个开关,对整个域名检测到的机器人流量发起挑战;Super Bot Fight Mode 可按机器人类别配置动作,并支持用 WAF 自定义规则设置例外;企业版 Bot Management 则按请求给机器人评分,支持自定义规则、按端点处理和更详细的分析。具体能力以你实际订阅的产品为准,不同档位不能混为一谈。
robots.txt 允许,不等于请求一定能到达。两套设置相互独立,完全可能互相矛盾:robots.txt 写着放行,CDN 却在挑战或拦截。接入或调整机器人防护后,应重新核对各类机器人的实际处理动作,这是政策审核里最容易被跳过的一步。
以OpenAI为例:训练、搜索与用户访问可以分别管理
据 OpenAI 官方爬虫文档,OpenAI 使用 OAI-SearchBot 与 GPTBot 两个独立的 robots.txt 标记,设置互不影响。可通过屏蔽 GPTBot,表达不允许其抓取内容用于训练的偏好;而 OAI-SearchBot 用于搜索、在 ChatGPT 搜索功能里呈现网站,退出该标记的站点不会出现在 ChatGPT 搜索答案里,但仍可能以导航链接形式出现。官方建议放行 OAI-SearchBot 及其公布的 IP 段。
这就给了一种可操作的政策组合:允许搜索检索、限制训练抓取。在 robots.txt 里放行 OAI-SearchBot、屏蔽 GPTBot,即可表达这种偏好。要注意边界:屏蔽 GPTBot 只是表达相应抓取偏好,不等于内容彻底不会通过任何渠道进入所有模型,也不涉及删除历史训练数据。
另外,ChatGPT-User 是用户在 ChatGPT 里提问时触发的访问,不是自动抓取。官方说明因其由用户发起,robots.txt 规则可能不适用于它;它也不决定内容能否出现在搜索里。上述规则仅适用于 OpenAI 对应系统,不能推广为全部 AI 平台的规律。OpenAI 官方文档还说明,网站 robots.txt 更新后,OpenAI 系统针对其 OAI-SearchBot、GPTBot 等 robots 设置约需 24 小时调整;这是官方对其自身系统的说明,不是所有平台的生效时限保证。
智能体访问如何纳入政策:保护业务,也保留采购入口
智能体是更难处理的一类。据 Search Engine Journal 文章描述,它们能像真人一样浏览网站、触发分析统计,越来越难与真人访客区分。拦掉一个正在替用户做产品对比的智能体,损失可能不是一次排名,而是直接从那条答案里消失。
政策上建议把公开内容和敏感操作分开评估:公开产品页、规格参数、价格区间这类内容,是采购决策的入口,倾向保留可达;涉及账户、报价单、客户数据的操作,则按安全要求限制。不能仅凭访问看起来像真人,就判定它一定是真人。智能体访问与网站限制的边界是一个值得延伸阅读的话题,但单个事件不足以概括所有智能体的行为。
由谁批准、如何验证:让机器人政策持续执行
机器人政策是跨部门的事。SEO 提出可见性需求,工程落地配置,安全评估风险,法务评估内容使用与条款,业务确定页面优先级。据 Search Engine Journal 文章,这类决策需要协调制定、在各执行层保持一致执行,并定期复审。
验证执行情况,可以从请求记录、响应状态和规则命中情况入手,用服务器日志核对AI抓取情况是承接政策落地的自然下一步。复审的触发条件建议写进政策本身:政策变更、新增机器人、防护产品调整时,都应重新核对一遍。
外贸网站开展GEO前,先检查AI检索能否正常访问(GEO:生成式引擎优化)
很多企业一谈 AI 搜索优化,就直接跳到内容怎么写。建议把检查顺序拆开:允许访问、页面可理解、具备引用价值是三件不同的事。先确认目标检索机器人能正常读取公开页面,再检查内容是否清晰、是否便于回答采购问题。可抓取只是基础条件,不能据此推导必然被引用、推荐或产生询盘。
这也是开展GEO与AI搜索优化时需要检查的一环:机器人可达性是起点,不是结果。如果你不清楚外贸网站的机器人防护是否影响 AI 检索,欢迎留言说明网站地址、CDN/WAF配置和目标市场,与询盘云沟通检查需求。
怎么做
- 盘一遍实际拦截动作。登录 CDN/WAF 后台,按你实际订阅的产品档位,逐项核对哪些机器人类别被挑战、哪些被拦截、有没有自定义规则例外,再和 robots.txt 的声明对照,列出冲突项。
- 把政策写成表并指定负责人。用"机器人身份、访问目的、页面范围、动作、执行位置、负责人、复审条件"七列建表,公开产品页与登录后页面分开处理,营销、工程、安全各认领对应行。
- 按平台分别设置,不套用通用清单。以 OpenAI 为例,训练与搜索可用独立标记分别管理;其他平台按其官方文档核实后再配置,不要假设规则通用。
- 设定复审节奏。政策变更、机器人新增、防护产品调整时触发复查;更新 robots.txt 后,按 OpenAI 官方所述其系统约需 24 小时调整的窗口,回看请求日志与规则命中记录。