博客

AI可见度监测工具靠谱吗?论文实测:API只找回ChatGPT约四分之一的引用页面

研究发现 Google 结果加 OpenAI API 合计只找回 ChatGPT 实际引用页面的约四分之一;选 AI 可见度工具前,先问清它的数据通道。

你的 AI 可见度报表,可能测的不是 ChatGPT 本身

你花钱订阅的 AI可见度监测工具,假设报表显示,你的网站被 ChatGPT 引用了 37 次——但这个数字,可能测的不是 ChatGPT 本身。

2026 年 10 月,一篇来自新加坡国立大学和西安交大的 arXiv 预印本给出了一个不太舒服的结论:把 Google 自然搜索结果和 OpenAI API 这两个替代来源合起来,也只找回了 ChatGPT 实际引用页面的 26.2%、被引站点的 48.7%(对应 GPT(生成式预训练大模型)-5.5 Instant 的测试设置)。换句话说,你从 API 通道看到的引用数据,只是 ChatGPT 真实引用行为的一部分。

这不是说监测工具不能用,而是说:在选工具之前,你得先知道它的数据是从哪条通道来的。

这项研究怎么做的:80 个问题、两个模型、各跑 20 次

先把研究口径说清楚,免得后面数字被误读。

这篇论文 10 月 11 日发布在 arXiv 上,是预印本,未经同行评审,样本量是 80 个问题——规模不大,结论应该当作方向性参考,而不是行业定论。

  • 问题来源:Search Arena,一个公开的真实用户与 AI 对话库,40 个英文问题、40 个中文问题,覆盖推荐、事实查证、信息综合、分析四类请求。
  • 测试模型:GPT-5.3 Instant 和 GPT-5.5 Instant,每个问题各跑 20 次。
  • 采集时间:2026 年 3 月 29 日到 7 月 29 日。所有测试设置都早于 GPT-5.6 和 GPT-6。
  • 替代来源:每题用 SerpAPI 抓取最多 5 页 Google 自然结果(平均每题约 43 条);同时用 OpenAI 的 Responses API 开启 web search,各跑 20 次。对每个问题,ChatGPT 实测与两项替代来源的采集均在同一个三天窗口内完成。

研究者比较了两个方向:一是替代来源能覆盖多少 ChatGPT 实际引用的页面,二是 API 答案引用的页面有多少也被 ChatGPT 应用端引用。两者分母不同,不能统称为同一个数据缺口。

关键数字:页面级找回约 1/4,站点级约一半

结果分两个层级看,这是全文最容易被写错的地方。先说明口径:这里的找回率,是把每题 20 次运行中至少被引用过一次的页面汇总去重后、逐题计算、再对 80 个问题取平均得到的(据论文方法);论文把子域名计为不同站点。

页面级:Google 结果 + API 两个来源合计,找回了 ChatGPT 实际引用页面的 26.2%(GPT-5.5)和 28.3%(GPT-5.3)。

站点级:同一口径下,找回了被引站点的 48.7%(GPT-5.5)和 50.3%(GPT-5.3)。

只看 Google 结果的话,数字更低:页面级 6.4%,站点级 22.8%(均对应 GPT-5.5 Instant)。

还有一个方向容易写反的数字:另一个指标以 API 答案实际引用的页面集合为分母,逐题计算其中也被 ChatGPT 应用端引用的比例、再对 80 个问题取平均,结果为 23.3%(GPT-5.5 Instant)和 16.4%(GPT-5.3 Instant);这反映的是两端引用集合的重合程度,不能解释为 ChatGPT 对页面相关性或质量的认可。

页面级和站点级的差距,对外贸企业来说尤其值得注意:站点被引用,不等于你那一页被引用。 如果工具报表只告诉你"你的域名出现在 AI 回答里",你看不到到底是产品页、博客还是某个老掉牙的新闻稿在替你说话。做 GEO(生成式引擎优化) 效果追踪,这两级数据必须分开看。

为什么对不上:ChatGPT 改写查询,中文问题常常改用英文搜

ChatGPT 的检索行为本身就不好复现。

论文发现,在可见搜索的运行中,GPT-5.3 和 GPT-5.5 从来不用原问句去搜索——一次都没有。它会先改写查询,部分运行还会生成多条查询;其中,围绕原问题展开多条搜索查询的情况,称为查询扇出,我们之前在 ChatGPT 查询扇出研究 里拆解过。你拿原问句去 API 里重跑一遍,本来就跑不到同一条路上。

更值得注意的是语言变量。在中文问题且能观察到实际搜索查询的运行中,GPT-5.3 Instant 有 67.0%、GPT-5.5 Instant 有 69.6% 只使用英文查询。你用中文提示词去测,AI 却在英文世界里找答案——这中间的错位,会直接体现在引用结果上。

而语言对 AI 推荐的影响有多大?据 Search Engine Journal 的一次作者自测(单日采集、英国语境、单一样本),在 Claude 的机票推荐测试中,同一个问题换五种语言问,easyJet 被推荐的比例从 12.5%(波斯语)一路到 72.5%(俄语)。不同市场、不同语言下的 AI 引用本来就不一样,可参考 本地与全球 AI 引用差异。对外贸企业来说,只用英文提示词测 AI 可见度,对做多语种市场的业务会明显失真。

还有一层不稳定:对每题 20 次运行返回的检索页面去重,计算仅出现一次的页面占比,再对问题取平均:GPT-5.5 Instant 为 44.5%,GPT-5.3 Instant 为 40.8%。跑一次就下结论,等于抽盲盒。

这一点,另一项独立研究从 API 侧印证了。据 Kingy AI Citation Index 公布的数据(官方 API 向 OpenAI、Claude、Gemini 发 1,200 个问题、每题问两次),被引域名的两轮重合度 Jaccard 分别是 OpenAI 0.664、Claude 0.515、Gemini 0.319。这里的 Jaccard 均值排除了两轮都无引用域名的问题,不能理解为全部 1,200 题的无条件平均。Kingy 原页自己也声明:官方 API 结果可能与消费级应用不同。两项研究一个从应用端、一个从 API 端,指向同一个操作建议:同一提示词,必须多跑几次。(Kingy 属有方法的从业者研究,单一来源。)

监测工具到底怎么拿数据:API 通道和应用通道

那市面上这些 AI 可见度监测工具,数据到底怎么来的?

据行业从业者的方法梳理(Growth Method 的调查,单一来源),主流工具的通用做法是:定时向模型发送一批提示词,存下完整回答,再对提及、情感、引用源打分。而数据供应商这一层,本身就分两种渠道:官方 API 通道,和面向用户的应用界面采集通道——后者是模拟真实用户在 ChatGPT 应用里的提问。

确实有厂商公开说明自己走 API。比如 AuditAE 在其产品页自述,通过 OpenAI 的 Responses API 加 web search 来跑买家提示词(厂商自述,单一来源)。至少有一家厂商公开说明走 API 通道,这就够说明问题了——API 通道是行业里的真实选项,而论文测出的缺口,恰好落在这条通道上。

这里必须划清边界:论文没有测试任何商业工具,也没有说哪家工具不准。它比较的是特定模型、提示词和采集设置下,API 与应用端引用的重合情况。你不能由此推断"主流工具都走 API",但你有理由在采购前问一句:你们的数据,是 API 还是应用端?

外贸团队选 AI 可见度工具,先问这 5 个问题

把这套研究翻译成采购清单,就是五个问题:

  • 1. 数据走 API 还是 ChatGPT 应用? 如果是 API,请对方说明如何应对查询改写和语言漂移带来的缺口。
  • 2. 同一提示词跑几次? 只跑一次的数据,参考价值有限。行业方法论建议(据 ecommercefastlane 的从业者建议,单一来源、非实测数据):提示词集控制在 30–50 条,按购买意图分层;最重要的 15 条每周测,完整集每月测;每次用干净会话,并留存原始回答原文,方便回溯。
  • 3. 页面级和站点级是否分开报? 只报站点级的工具,看不出你哪一页在起作用。
  • 4. 多语言提示词怎么覆盖? 你的目标市场说德语、西语、阿语,就要用这些语种的提示词去测,而不是拿英文结果推算。
  • 5. 模型换代后多久重新校准? 这条下一节展开。

还有一个容易被忽略的维度:测了 ChatGPT,不等于测了 Gemini 或 AI Mode。据 TheToolsVerse 的一次实测(一个品类、一个晚上、40 个问题,单一样本,且属推广内容;采集于 2026 年 10 月 9 日当晚),ChatGPT、Gemini、Google AI Mode 回答同一批问题时,600 个去重被引页面里有 556 个(92.7%)只被一个引擎引用,三个引擎都引用的只有 2 个。在这次实验中,跨引擎引用重合较少——买工具的时候,问清楚它覆盖哪几个引擎。

选好工具之后,下一步是定 AI 可见度 KPI 怎么设,别让报表上的数字变成没人对得上的孤立指标。如果团队没有精力自己搭多语言、多次复测的监测流程,可以了解我们的 GEO/AI 搜索优化服务。

怎么做:三条能马上落地的动作

不管你现在用不用工具,这三件事这周就能做。

  • 第一,给现有报表做一次口径体检。 找服务商要一句明确答复:数据来自 API 还是应用端、每题跑几次、页面级和站点级是否分开。答不上来的,报表先降级为"方向参考"。
  • 第二,建一个 30–50 条的核心提示词集,用目标语种写。 按购买意图分层(找供应商、比价格、问认证、问交期),最重要的 15 条每周安排一轮复测,同一提示词在独立干净会话中重复运行,并记录重复次数;每次都存下原始回答。三个月后你就有自己的基线,不必完全依赖第三方。
  • 第三,给询盘来源加一个 AI 选项。 在询盘表单、WhatsApp 首问和销售跟进话术里,统一问一句"您从哪里了解到我们",选项里加上 ChatGPT/AI 助手,允许多选。把这类字段沉淀在 营销 CRM(客户关系管理) 里,和 AI 可见度趋势对照看。汇报时看份额和方向,不当绝对值。

模型一换,基线就得重测;把 AI 数据和询盘来源一起看

最后说一个时间问题。这篇论文的所有测试设置,都早于 GPT-5.6 和 GPT-6。

据 OpenAI 帮助页的信息,GPT-6 正在向 Plus、Pro、Business、Enterprise 用户推送,GPT-5.6 Luna 成为 Free 和 Go 用户的默认模型。而据 Sistrix 的观察,GPT-5.5 切换(5 月)前后,德语区 ChatGPT 引用的逐日波动幅度从常态的 1%–2% 跳到了 47%——注意,这是波动幅度,不是引用量涨了 47%。

模型一换代,你上个月建的基线就可能作废。所以第五个采购问题才那么重要:对方多久重新校准一次?

也正因为工具数据只能看方向,你需要补一条自己能掌控的数据线:询盘来源自报。表单、WhatsApp、销售跟进三处统一问来源,AI 选项允许多选;和监测工具的趋势对照看。工具告诉你"AI 里的声量在涨",自报数据补充客户是否提到 AI 渠道——两条线对上了,才敢往汇报里写。需要说明的是,自报来源存在回忆和归因偏差,两条趋势一致也不能直接证明因果;相关方法思路出自 Ahrefs 的方法说明( https://ahrefs.com/blog/how-to-measure-ai-search-visibility/ )。

顺带提一句:被监测的页面,AI 爬虫得先读得到,这是另一个话题,我们在站内其他文章里聊过,这里不展开。

不确定手上的 AI 可见度报表测的是不是 ChatGPT 的真实引用?给我们留言,告诉我们你的目标市场和语种,我们帮你理一遍监测口径。

参考资料

  • Search Engine Journal:《OpenAI's API Only Partly Matched ChatGPT's Citations, Paper Finds》 https://www.searchenginejournal.com/openais-api-only-partly-matched-chatgpts-citations-paper-finds/593304/
  • Kingy AI Citation Index(2026-10-05) https://kingy.ai/research/kaci-wave-one-ai-citation-study/
  • TheToolsVerse:AI citation overlap 实测(2026-10-09) https://thetoolsverse.com/blog/ai-citation-overlap-chatgpt-gemini-ai-mode
  • Growth Method 工具方法梳理(含 AuditAE 厂商自述) https://growthmethod.com/ai-visibility-tools/ 、https://auditae.app/chatgpt-brand-monitoring
  • Search Engine Journal:语言如何改变 AI 推荐品牌(作者自测) https://www.searchenginejournal.com/lost-in-translation-how-language-changes-which-brand-ai-recommends/591585 ;ecommercefastlane 从业者建议 https://ecommercefastlane.com/ai-visibility-tools-ecommerce-track-chatgpt-brand-mentions/ ;Ahrefs 方法说明 https://ahrefs.com/blog/how-to-measure-ai-search-visibility/

相关阅读

ChatGPT广告来了:外贸企业付费+自然双线布局指南(10月衡量工具更新)

ChatGPT广告新增衡量合作方、Ads Manager 转化诊断与周报、更大视觉广告测试;附分市场点击率与外贸企业双线布局指南。

阅读全文

外贸网站内容审计:别再用页面数量衡量 SEO,先用"更新/合并/删除/保留"清一遍存量(SEO:搜索引擎优化)

别再数页面了:先对存量页面做更新/合并/删除/保留四决策审计,新页面过不了业务缺口关就不发——外贸独立站 30 天落地清单。

阅读全文

Google AI Mode Canvas 现身印度:AI 搜索开始"替用户做事",外贸内容该从答案变成工具

Google AI Mode 的 Canvas 工作区现身印度,AI 搜索从"给答案"转向"替用户做事"。外贸内容策略该从答案片段转向工具与模板。

阅读全文

聊聊你的外贸获客现状

不用先准备材料,把现在最头疼的事说清楚就行。