做了半年 AI 搜索优化,你可能已经习惯了每周看一遍提示词追踪报表:品牌在 ChatGPT 里被提到几次、在 Perplexity 里排第几。但这些数字有一个共同盲区——只告诉你“AI 有没有提到你”,看不出“AI 到底能不能打开你的页面”。要回答后一个问题,得回到最原始的证据:服务器日志分析。客户在 ChatGPT 里问“中国哪家供应商做某某产品”,你的站能不能出现在答案里,第一道关卡就是页面有没有被抓到。做 AI 搜索优化先确认页面能被抓到,这一步没打通,后面内容做得再好也是空转。
为什么提示词追踪看不出抓取失败
提示词追踪站在答案这一端,引荐分析站在结果这一端,两者都看不到中间那段黑箱:AI 爬虫有没有来过、请求返回的是 200 还是 499、等了多久才放弃。一个页面完全可能内容优质、结构清晰,但服务器对 AI 爬虫返回了 403,或者每次都超时断开。这次抓取未取得页面内容,可能影响后续引用;仅凭这些失败记录,不能判断页面此前是否被获取或是否会在其他答案中出现。你在追踪工具里看到“零提及”,容易误以为是内容不行,实际可能是技术门槛卡在了前面。
Moz 文中引用了一组实证数据:iPullRank 与 Profound 在 2026 年 4 月分析了 70 万个页面,发现经常让 OpenAI 抓取超时的页面,被引用次数少 18 倍;抓取失败超过 3/4 的页面,常常是零引用。需要说清楚的是,这是相关性证据,不是对照实验——它证明抓取失败和低引用高度同现,但不能反推“抓取成功就一定被引用”。原文作者因此得出“可抓取资格就是新排名”的判断,这是他的结论,不是行业定论。
第一步先拿对日志:时间窗和字段清单
服务器日志分析的第一件事不是分析,是要对数据。用 Cloudflare 这类 CDN,CDN 日志是金标准,因为它记录的是边缘节点真实收到的请求;日志若从主机面板导出,先确认有没有把爬虫请求一起记下来。
向外包服务商或主机商开口时,有个小技巧:先要几百行样本,再谈全量导出。拿到样本先检查字段齐不齐,缺字段的日志后面做不了任何拆分。必备字段是这几项:
- 客户端 IP——验真爬虫身份的基础
- 请求 URL 和 HTTP 方法——看清爬虫在抓哪些页面
- 时间戳——对齐抓取行为和你的发布节奏
- User-Agent——初步识别爬虫,但不能单独作为依据
- 状态码——200、403、499 的区别要分开看
- 响应字节数——对预期返回正文的 GET 请求,零响应字节应单独排查
- 加分项:响应时间、缓存状态
如果你走 Cloudflare,可以直接照它 Logpush 的字段名要数:ClientIP、ClientRequestHost、ClientRequestMethod、ClientRequestURI、ClientRequestUserAgent、EdgeStartTimestamp、EdgeEndTimestamp、EdgeResponseBytes、EdgeResponseStatus、RayID。跟技术人员沟通时直接报字段名,比描述“我要看谁来过”高效得多。要注意,起止时间差反映的是该请求的耗时,不能直接当作源站响应时间。
时间窗也要先定好:定位单个抓取异常看 1–2 周,判断整体抓取行为看 1–2 个月,训练类爬虫行为变化慢,要看到 90 天以上。
把 AI 爬虫按用途分四层,别只看全站汇总
拿到日志后最常见的错误做法,是拉一个全站状态码分布,看到 200 占 99% 就放心了。这个数字毫无意义,因为它是所有爬虫、所有页面的平均值,全站 200 比例再高,也可能掩盖某一个搜索爬虫全是 403 或 499。正确的做法是先按用途分层,再逐层看:
- 训练层——为训练大模型而来,比如 GPTBot。它决定内容会不会进训练语料,和搜索答案出现与否是两件事。
- 索引层——为建立搜索索引而来,比如 OAI-SearchBot。这一层直接决定你能不能出现在 ChatGPT 的搜索答案里。
- 实时抓取层——由用户请求触发访问,例如 ChatGPT-User;带 -User 后缀的多属这一类,但仍应以官方用途说明为准。
- 代办/代理层——代表用户执行任务的代理访问,识别时应核对具体工具的官方说明。
分层的意义在于:不同层出问题,处理方式完全不同。训练层被屏蔽影响长期语料,索引层被屏蔽影响当下的搜索可见性。想对照某一家引擎的抓取行为,可以看我们之前写的在日志里识别某家引擎的抓取,思路和这里的分层一致,只是聚焦到单一来源。
逐个机器人看状态码:重点查 499 和重复超时
分层之后,把日志导入表格,做一张“机器人 × 状态码”的透视表。先看每个机器人各自的 200 占比,再单独把 499 和高响应时间的记录筛出来。
499 记录表示客户端在服务器完成响应前关闭连接;等待超时只是可能原因之一,须结合耗时与链路记录判断。偶尔出现一两次不算问题,但如果某个 AI 搜索爬虫的 499 记录反复出现、集中在同一批 URL 上,应进一步检查响应耗时、客户端超时设置及 CDN 与源站链路,不能只凭 499 确定原因。这和“被拒绝”是两种不同的病,前者先查断连原因、耗时与链路,后者要改访问规则。
这里再强调一次那条限定:日志显示某个爬虫天天来、次次 200,200 表示请求成功返回,仍需结合请求方法、响应字节数和实际内容,确认返回了目标页面。别把“抓取正常”当成“排名上升”的同义词。
两个容易踩的陷阱:屏蔽错机器人、信了假 UA
第一个陷阱是屏蔽错对象。OAI-SearchBot 和 GPTBot 必须分清:前者管的是你的站点能不能出现在 ChatGPT 的搜索答案里,后者管的是内容要不要用于训练。按 OpenAI 官方文档的说法,退出 OAI-SearchBot 的站点不会出现在 ChatGPT 搜索答案中(仍可能以导航链接形式出现);禁止 GPTBot 只表示内容不用于训练。两者设置相互独立。很多站为了“不让 AI 白嫖内容”一刀切屏蔽所有 OpenAI 爬虫,顺手把搜索可见性也关掉了,得不偿失。
第二个陷阱是信了 UA。User-Agent 字符串可以任意伪造,任何脚本都能把自己写成 GPTBot。所以验真不能只看这一行字。业界通用的三类方法是对照官方公布的 IP 段、做反向 DNS 查询、检查签名头。OpenAI 为每个爬虫都公布了 IP 段 JSON 文件(searchbot.json、gptbot.json、chatgpt-user.json 等),可以逐条比对来源 IP。Google 官方文档也说得很清楚,识别自家爬虫靠三样东西:HTTP user-agent 请求头、来源 IP 地址、来源 IP 的反向 DNS 主机名。防住不该进的爬虫是另一面,服务器层的记录同样关键,这部分可以看防绕过是另一面,服务器层记录同样关键,两篇对照着读,攻防两侧就都齐了。
怎么做:把日志分析排进月度巡检
方法讲完,落地成动作。对多数外贸企业来说,不需要自建日志平台,用导出的 CSV 加一张透视表就够起步。建议按下面几步固定下来:
- 动作一:每月固定一天导出日志,口径不变。时间窗、字段、统计维度都沿用上月设置,只换数据。口径一换,趋势就没法对比。
- 动作二:做“机器人 × 状态码”透视表,盯三个数。每个机器人的 200 占比、499 条数、平均响应时间。任一出现明显变化,就往下钻到具体 URL。
- 动作三:按“验真 → 定位 → 归因 → 处理”的顺序排查。先用官方 IP 段或反向 DNS 确认爬虫身份,再判断异常是全站还是单机器人,再看是否集中在少数页面或时段,最后按原因调整性能、超时设置或访问规则。
- 动作四:把 OAI-SearchBot 和 GPTBot 的规则分开写在注释里。谁管搜索、谁管训练,写清楚,避免下次交接时又被一刀切屏蔽。
手里有日志却看不出 AI 爬虫进没进来?把字段清单和最近两周的样本发给我们,一起先把抓取这一关查清楚。
参考资料
- Moz:《How To Analyze Server Logs for AI Search》 https://moz.com/blog/analyze-log-files-ai-search
- OpenAI 官方文档:《Overview of OpenAI Crawlers》 https://platform.openai.com/docs/bots
- Google Search Central:《Google Crawler (User Agent) Overview》 https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers
- Cloudflare 官方文档:《Enable HTTP destination》(Logpush) https://developers.cloudflare.com/logs/logpush/logpush-job/enable-destinations/http/