博客

ChatGPT 打不开网站?先查 OpenAI 的 Aura 安全检查

robots.txt 全开、爬虫能进,ChatGPT 智能体却打不开你的站?可能是 OpenAI 的 Aura 安全检查在拦路,本文给七步自查与申诉方法。

如果你最近发现 ChatGPT 打不开网站,先别急着怀疑自己的服务器或 DNS。有一种更隐蔽的情况正在发生:你的网站爬虫权限全开、robots.txt 一切正常、服务器日志干干净净,但 ChatGPT 的智能体就是拒绝访问,连一次连接尝试都没有。这可能与 OpenAI 平台侧的独立安全检查有关,但仍需先排除 CDN、WAF、网络和本地权限问题。

先分清三层:训练爬虫、搜索爬虫、智能体浏览不是一回事

很多外贸企业在做 AI 搜索优化时,习惯把"让 AI 能看到我"当成一件事。实际上它至少分成三层,每层的规则和入口都不一样。

第一层是训练爬虫。据 OpenAI 官方爬虫文档,GPTBot 负责抓取内容用于模型训练。第二层是搜索爬虫,OAI-SearchBot 用于 ChatGPT 搜索相关功能。第三层是智能体浏览,ChatGPT-User 可用于响应用户请求访问网页,是一次性实时抓取。

这三层最容易踩的坑是:封掉 GPTBot 不等于退出 ChatGPT 搜索。你不让 OpenAI 训练模型,和你不让 ChatGPT 在回答里引用你的网站,是两码事。更关键的是,OpenAI 文档还特别说明,ChatGPT-User 这类用户触发的抓取,robots.txt 的规则"可能不适用"。也就是说,你把 robots.txt 写得再开放,也不代表智能体一定能打开你的站。

如果你还没系统梳理过这三层的关系,可以先看看我们的 AI 搜索优化 服务思路,它把这几个入口拆开处理,而不是混在一起谈。

Aura 是什么:一张独立于三爬虫的全局封锁名单

据 Search Engine Journal 报道,OpenAI 内部有一套叫 Aura 的站点安全检查机制。它在网络请求中表现为对 chatgpt.com/backend-api/aura/site_status 的查询,用来判断 OpenAI 的浏览工具是否被允许连接某个网站。注意,这里的 Aura 是安全检查系统的代号,和早年 Atlas 浏览器项目用过的 Aura 代号不是一回事,别混为一谈。

这套机制的特点有几个:

  • 它独立于 GPTBot、OAI-SearchBot、ChatGPT-User 三套爬虫规则运行,是另一道闸门。
  • 一旦某个域名被标记为封锁,Codex 的 Browser Use、ChatGPT 的实时搜索等工具会直接拒绝打开,完全忽略你本地的用户设置和 robots.txt 规则。
  • 即使企业管理员在自己的系统里设置了允许规则,OpenAI 内部的判定依然优先,页面照样打不开。
  • 官方帮助页只笼统提到"出于安全、合规原因可能封锁某些站点",但没有公开具体判定逻辑,也没有给出公开的查询或申诉入口。

换句话说,你在自家门口挂满了"欢迎光临"的牌子,但对方在出发前就看了一眼总部的黑名单,决定不来了。想先把自家这一侧的规则理清楚,可以参考我们讲 robots.txt 分工 的那篇文章,把训练、搜索、用户触发三类抓取分开看。

一个疑似被误封的案例:国际媒体从 2026 年 5 月起打不开

据 Search Engine Journal 披露的一个案例,某国际媒体出版商在 2026 年跑了一次为期 24 小时的 OpenAI 广告投放,用于评估平台并建立一个额外的支持渠道。这家媒体的 robots.txt 完全开放,也支持 OpenAI 的各项工具,但主站却出现了大面积、无法解释的访问故障。

从 2026 年 5 月起,ChatGPT 反复无法加载该出版商的网页,返回的是一般性错误信息,而且根本没有尝试建立连接。服务器日志显示,来自 ChatGPT 的流量从未到达网站,说明封锁发生在更上游的环节。用 Codex CLI 和桌面应用测试时,Browser Use 明确拒绝访问,安全提示直接点名是站点安全策略拦下了请求,并且系统还指示底层模型不要尝试任何备用方案或替代路径。

对比测试更能说明问题:同一会话里,两家直接竞争对手的新闻和杂志平台正常加载;该品牌自有技术搭建、但托管在另一个域名上的第三方报纸页面也正常加载——同样的技术,换个主机名就不被封。Chrome 权限设为"始终允许"并显式加入该品牌,依然被拦。几周后复测,主站、子域名、文章页共五个 URL 仍然全部打不开。

与此同时,该站过去 30 天给 OpenAI 训练爬虫成功服务的连接只有约 5,000 次,而 Google 约 47.7 万次、Anthropic 约 56.4 万次。这说明它的整体抓取访问量本来就很小,但智能体浏览是被彻底封死的。目前披露的信息显示,OpenAI 一线支持在初步排查后把工单转给了内部专门团队,后续邮件确认专家团队正在核查该域名的封锁是否为预期行为,但支持人员并未直接点名 Aura 系统。

为什么常规 GEO 排查查不到它:日志零请求、分析工具无痕迹(GEO:生成式引擎优化)

这就是 Aura 误封最让人头疼的地方:它在站点侧的常规排查里很难留下痕迹。

如果请求在 OpenAI 发起连接前被拦截,站点侧日志通常看不到这次访问;GSC 抓取数据也不能直接验证 OpenAI 智能体是否能够访问。你能看到的只有用户在对话里反馈"打不开",或者自己在 ChatGPT 里试了一下发现页面加载失败。常规的 GEO 排查——检查结构化内容、实体定义、robots.txt 权限——全都查不出问题,因为这些环节本来就没坏。

报道还提到一个机制细节:当检查结果判定某站被封锁时,这个决定会在本地缓存 24 小时。注意,这 24 小时是检查结果的本地缓存,不是申诉处理时限,也不代表过了 24 小时就会自动解封。另外,OpenAI 工程师曾表示状态检查过程中出现网络故障时默认放行,但明确的站点封锁是严格执行的,不会因为故障而松动。

七步自查:你的站是不是撞上了 Aura 误封

先说明一个定性口径:零请求是一条线索,不能单独定位封锁方;单次打不开也不能定论,可能只是网络波动或页面本身报错。先核对 CDN/WAF 和源站日志,再结合明确的站点安全拒绝提示及对照测试判断。下面这套自查按顺序做,能帮你把自家一侧的问题先排干净。

  • 第一步,确认现象。在 ChatGPT 里用需要实时浏览的提问方式访问你的核心页面,记录返回的错误类型。是页面加载失败、还是直接拒绝访问,描述不一样,指向的问题也不一样。
  • 第二步,查服务器日志。拉出对应时间段的访问日志,搜索 OpenAI 相关 User-Agent 和已知 IP 段。如果完全没有连接记录,可把平台侧封锁列入怀疑范围,但仍需先排除自家边缘规则。
  • 第三步,先排自家边缘规则。检查 Cloudflare 的 AI 爬虫控制、WAF/Bot 规则及托管 robots.txt,结合边缘日志确认是否由自家配置阻断请求。Cloudflare 官方文档把 AI 爬虫策略分为 Search、Agent、Training 三档,托管 robots.txt 会把平台规则前置到你自己的规则之前,所以自家一侧要先查干净。
  • 第四步,做对照测试。用同一组页面,在同一会话里对比测试竞品站或同技术的其他域名。如果别人能开、你不能开,平台侧封锁的可能性就大幅上升。
  • 第五步,换工具复测。用 Codex CLI 或桌面端的 Browser Use 再试一次,看拒绝理由是否明确指向站点安全策略,而不是你的证书或防火墙。
  • 第六步,排除权限设置干扰。把浏览器权限设为允许并显式加入你的域名,再测一次。如果仍然被拦,可降低本地权限配置导致问题的可能性,继续结合明确拒绝提示判断。
  • 第七步,固定样本留档。把测试的 URL 清单、时间、错误截图、日志片段整理成一份记录,后面申诉和复测都用得上。

顺带提一句,ChatGPT 搜索的入口本身也在变化,比如早前 ChatGPT 搜索试点 就引发过不少讨论。把"智能体能否打开网站"和这些入口变化放在一起看,排查思路会更完整。

怎么做:证据包、申诉三问、定期复测

如果你已经按上面的步骤排除了自家一侧的问题,接下来是三个具体动作。

第一,整理一份能直接提交的证据包。至少包含:测试 URL 清单(主站、子域名、文章页各取几个)、每次测试的时间和工具、错误提示原文截图、服务器日志与边缘日志中“零请求”的记录(注明日志层级、时间窗口和覆盖范围)、以及同会话里竞品站正常加载的对照记录。证据的价值在于证明"不是我没开门,是你不肯来"。

第二,通过官方支持渠道提交,把问题问准。不要只说“ChatGPT 打不开我的站”,而是明确问三件事:该域名是否受到 OpenAI 侧站点安全限制;这个限制是否为预期行为;如果是误判,走什么流程复核。在报道披露的案例中,工单被转交内部专门团队核查;其他站点的处理流程和时限尚不明确,沟通时保留好往来邮件。

第三,把复测做成固定动作。建议把"智能体能否打开网站"正式列入你的季度 AI 搜索审计清单,和 GSC 抓取检查、robots.txt 检查并列。复测时固定同一组 URL、同一对照竞品站,每次结果留档,方便看出趋势而不是凭感觉。对做外贸的企业来说,这件事值得和市场投放节奏绑在一起——每次大促或展会前跑一遍,比事后救火便宜得多。

最后提醒一句:不要尝试任何绕过封锁的做法。报道明确指出,绕过行为可能把一次误封变成实封。本文讨论的是 OpenAI 浏览工具的访问限制;不能据此推断网站遭到谷歌降权或出现收录异常,别自己吓自己,也别乱动配置。

怀疑自家网站被智能体拦在门外、又查不出原因?给我们留言你的网址,我们帮你按七步法先定位是自家规则还是平台侧封锁。

参考资料

相关阅读

同一个词贵了约两成:14家B2B广告主同关键词点击成本同比涨约21%

Grey Matter追踪14家B2B广告主1349个非品牌词:控制花费、位置与质量得分后同词点击成本同比涨约21%,附同词自查三步。

阅读全文

YouTube剪辑工具转Shorts:播客切片自动回链原片,先对10国7语名单

YouTube Studio剪辑工具扩展到Shorts:按字幕选段转竖版并自动回链原片,AI推荐只覆盖10国7语,不处罚不等于不影响推荐。

阅读全文

AI智能体流量10月涨到8月的8倍:Muse一家占59%,八成半只逛不买

HUMAN10月报告:智能体请求约为8月的8倍,Meta与OpenAI占近九成,85%落在商品与搜索页;签名目录迁到muse.ai,黑五前先做三件事。

阅读全文

聊聊你的外贸获客现状

不用先准备材料,把现在最头疼的事说清楚就行。