对希望通过 ChatGPT 获客的外贸企业来说，一个实际问题是：自己的网站能否被找到？2026 年 10 月，Cloudflare 和 OpenAI 公布了一项发现试点的早期结果，结论对站主来说是个好消息——但也仅限"被发现"这一步。这篇不转述新闻，而是换成外贸站主的视角，带你做一次自查：从爬虫放行、Cloudflare 设置，到软 404 和 GA4 追踪，从以下几个方面逐项排查。先说结论：门槛降的是"被找到"，不是"被引用"，更不是询盘。
发生了什么：Cloudflare 帮 OpenAI 的搜索爬虫"找页面"
按目前公开的信息，时间线是这样的：Cloudflare 在 2026 年 7 月 1 日的博客里提到，会在年内某个时候把这项能力开放给更多人；7 月 8 日，Cloudflare 与 OpenAI 正式宣布一项研究试点；10 月 15 日，双方联合发布博客公布早期结果（Cloudflare 官方博文，两名 OpenAI 员工联合署名）；10 月 20 日，Search Engine Journal 做了报道。
试点的做法是：用一批参与站点的网络信号（试点使用了约占 Cloudflare 整体网络 1% 的参与群体），帮助 OpenAI 的搜索爬虫发现页面。据 Search Engine Journal 报道，结果是帮助 OpenAI 发现并索引了"数亿"此前未知的新页面。注意两点：一是这个 cohort 是参与制、约占整体网络 1%，官方没有明确该比例按流量、站点数还是其他指标计算，目前还没有对所有站开放，也没有公布开放日期；二是"数亿"是官方口径的原话，不适合换算成任何具体到某个行业的数字。
为什么外链少的页面这次也能被发现
报道里举的例子很有意思：某款洗衣机的说明书页、护照办理要求和费用页、餐厅菜单和营业时间页。这些页面的共同点是——即使其他网站很少链接到它们，这些页面仍可能提供有用信息，对用户是实打实有用的内容。
换成外贸站，对应的就是产品参数页、选型对照表、常见问题页、安装和维护说明。这类页面往往沉在网站三四层，业务员也说不清有多少个，但它们恰恰是海外采购在做初步调研时最想看的内容。如果你的站有大量这种长尾页，又一直没被搜索引擎好好收录，这次机制变化值得关注。顺带一提，页面能不能被爬虫稳定发现，跟 sitemap 和 RSS 对 AI 爬虫的作用也有关系，这是站主自己能主动做的部分。
被发现 ≠ 被引用：这次试点没承诺的三件事
这是最需要冷静看的一段。官方信息里明确划了三条边界：
- 不保证被引用。OpenAI 会独立评估和排序索引到的页面，被发现了不等于会出现在 ChatGPT 的回答里。
- 信号不等于抓取许可。官方原话的意思是：关于某个页面的信号，并不授予访问该页面的权限。能不能抓，仍然由 robots.txt 和访问控制决定。
- 没公布效果数据。新页面被引用了多少次、带来多少访问量，官方没有报告。
另外还有个反直觉的点：发现新页面初期，抓取量反而可能先增加（因为要评估和索引），官方的目标是长期减少无用抓取，不是立刻给服务器减负。还有一点常被误读：这些信号是"关于网页的元数据"，用于搜索和发现，不是把页面内容拿去训练模型。
那既然不保证被引用，还靠什么？站外信息可能影响 AI 获取和核对品牌信息，但不保证引用。AI 了解一个品牌的途径，除了读你的网站，还包括媒体报道、行业论坛的讨论、其他权威站点的引用。被发现了之后能不能出现在回答里，还取决于内容本身是否清晰可核对，这也是 GEO（生成式引擎优化） / AI 搜索优化要解决的问题；想先搞清机制，可以看这篇AI 引用是怎么产生的。
爬虫最讨厌的三种站：软 404、全跳首页、重复地址
报道里提到，网络信号还能帮爬虫避开无用请求，点名的三类情况是：反复抓取不存在的文件、几乎所有地址都跳转回首页的站点、多个地址指向同一份重复内容。这三样，是上线或改版时值得检查的问题。
对无效 URL 返回错误内容却使用成功状态码，可能构成软 404；批量跳首页也需要检查：访问一个不存在的路径，服务器不返回 404，而是 200 状态码加一个首页内容。用户看着没事，爬虫却在一次次白跑。自查时不能只看状态码，要同时看响应内容和重定向链：
- 在终端执行 curl -sS -i -L https://你的域名/不存在的路径，查看各跳响应头中的状态码、Location，以及最终响应内容；
- 先确认该 URL 是否确实不存在：不存在且没有合适替代页时返回 404 或 410；有合适替代页时做重定向；页面本应存在时修复页面或路由；
- 顺便检查带 www 和不带 www、http 和 https 是否都能打开同一份内容，重复地址该做 301 统一。
说白了，AI 爬虫读不懂结构混乱的页面，等不了加载慢的页面，也进不了 robots.txt 挡住的页面。新的发现机制只解决"找到"，这三件事还得你自己做好。这类问题常出现在上线或改版阶段，选服务商时可以对照着问一句，也可以参考我们的外贸建站做法。
OAI-SearchBot 和 GPTBot：搜索可见和不给训练可以分开设
根据 OpenAI 的爬虫文档，两个爬虫分工不同：OAI-SearchBot 管的是在 ChatGPT 搜索结果里的展现；GPTBot 管的是可能用于训练基础模型的内容抓取。两者可以独立设置——想让网站出现在 ChatGPT 搜索里、又不想内容被拿去训练，就放行前者、屏蔽后者。针对搜索结果相关设置，OpenAI 表示，robots.txt 更新后，系统调整可能需要约 24 小时；这不代表页面会在 24 小时内被收录。
有两个细节要记住：屏蔽 OAI-SearchBot 后，网站不会出现在 ChatGPT 的搜索答案里，但仍可能以导航链接的形式出现，不等于完全消失。另外还有 ChatGPT-User，用于部分用户触发的访问（例如用户提问后由 ChatGPT 访问网页），它不是自动搜索爬虫，robots.txt 规则可能不适用，别把它和搜索爬虫混为一谈。
还有个防坑操作：OpenAI 在爬虫文档里公开了 OAI-SearchBot、GPTBot 的官方 IP 段（searchbot.json、gptbot.json），可以拿它在防火墙或 WAF 里做放行名单，同时识别那些伪造 UA 冒充爬虫的假货。
用 Cloudflare 的站：先确认 AI 爬虫没被你自己拦掉
这一段是很多外贸站的真盲区。Cloudflare 对 AI 爬虫的分类和默认策略经历过调整：2025 年 7 月 1 日宣布"Content Independence Day"，当时新接入的域名默认拦截 AI 爬虫，需要站主主动放行；而按 Cloudflare 现行官方文档，2026 年 9 月 15 日起的新域名默认设置为：在展示广告的页面阻止 Training、Agent，Search 默认允许。两类策略并不相同，所以不能简单用"某时间之后的新站"统一推导 OAI-SearchBot 默认被拦。
正确的动作是：登录 Cloudflare，在 Security Settings > Configure AI bot policies 里检查当前分类策略（Search / Agent / Training 三类）、历史设置以及其他访问规则（如 WAF 自定义规则、防火墙规则）是否阻挡了搜索爬虫。别一边盼着被 ChatGPT 收录，一边自己把门锁着。
如何查看 ChatGPT 带来的访问和询盘
最后一步是验证。ChatGPT 来的流量靠 UTM 或 referrer 识别，但 10 月初有部分 ChatGPT 链接两者都没有，一位分析师说修复已在 10 月 15 日当天开始推送。缺少 UTM、referrer 等可用归因信息时，部分访问可能无法识别为 ChatGPT 来源。这些报表只覆盖可识别为 ChatGPT 来源的访问；缺少归因信息时可能漏记，不能据此推算全部 ChatGPT 访问量。
操作步骤：
- 打开 GA4 的流量获取报告；
- 把主维度改成会话来源 / 媒介；
- 筛选来源里包含 chatgpt.com 的会话；
- 加一个次级维度落地页 + 查询字符串，看具体是哪些页面获得了可识别 ChatGPT 来源访问。注意落地页维度记录的是会话首次浏览页面，不能据此统计引用次数；
- 先确认表单成功提交事件正常采集，再将该事件标记为关键事件；在报表中将关键事件选择为已验证的"表单成功提交"事件，再按会话来源查看该事件的次数和会话关键事件率，避免把下载、注册等其他关键事件计入询盘口径，而不只是看访问量。
两点解读：缺少归因信息时，部分访问可能无法识别为 ChatGPT 来源，不能据此推算全部 ChatGPT 访问量；ChatGPT 来的访客可以在 GA4 里单独观察其询盘转化率，验证意向是否更明确。同类问题在 Gemini 上也有，可参考这篇AI 流量归因。
怎么做：一份可以今天就动手的清单
- 查 robots.txt：确认 OAI-SearchBot 没被 Disallow，需要的话按搜索/训练分开设；针对搜索结果相关设置，OpenAI 表示 robots.txt 更新后系统调整可能需要约 24 小时，但这不代表页面会在 24 小时内被收录。
- 查 Cloudflare：进 Security Settings > Configure AI bot policies，核对 Search / Agent / Training 三类策略、历史设置及其他访问规则是否阻挡搜索爬虫；有条件的话用官方 IP 段在 WAF 里做白名单。
- 查软 404：用 curl -sS -i -L 测一个不存在的路径，看各跳响应头中的状态码、Location 和最终响应内容；确认不存在、没有合适替代页的 URL 应返回 404 或 410；顺便统一 www、http/https 的跳转。
- 查 GA4：按上面步骤建一个 ChatGPT 来源流量的查看方式，先确认表单成功提交事件正常采集并标记为关键事件，在报表中将关键事件选择为已验证的"表单成功提交"事件，每月看一次获得可识别 ChatGPT 来源访问的落地页、该事件的次数和会话关键事件率（避免把下载、注册等其他关键事件计入询盘口径），把表现好的页面记下来，反过来补充同类内容。
- 查站外：官网之外，媒体、论坛、行业目录上关于你的信息是否准确一致——这些信息可作为 AI 核对品牌公开资料的一部分，但不保证获得引用。
不确定自己网站的 robots.txt、Cloudflare 设置有没有把 ChatGPT 挡在门外？给我们留言，我们帮你做一次 AI 爬虫可访问性检查。
参考资料
- Search Engine Journal：ChatGPT Search Can Draw On More Pages After A Cloudflare Pilot（2026-10-20）https://www.searchenginejournal.com/chatgpt-search-can-draw-on-more-pages-after-a-cloudflare-pilot/593720/
- Cloudflare 官方博客：Cloudflare × OpenAI 发现试点（2026-10-15）https://blog.cloudflare.com/cloudflare-openai-discovery-agentic-web/
- Cloudflare 官方文档：AI bot 策略与默认规则 https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/
- Google 官方文档：HTTP 状态码对抓取的影响 https://developers.google.com/crawling/docs/troubleshooting/http-status-codes
- OpenAI 官方文档：爬虫概览（OAI-SearchBot / GPTBot / ChatGPT-User）https://developers.openai.com/api/docs/bots