你的 AI 可见度报表,可能测的不是 ChatGPT 本身
你花钱订阅的 AI可见度监测工具,假设报表显示,你的网站被 ChatGPT 引用了 37 次——但这个数字,可能测的不是 ChatGPT 本身。
2026 年 10 月,一篇来自新加坡国立大学和西安交大的 arXiv 预印本给出了一个不太舒服的结论:把 Google 自然搜索结果和 OpenAI API 这两个替代来源合起来,也只找回了 ChatGPT 实际引用页面的 26.2%、被引站点的 48.7%(对应 GPT(生成式预训练大模型)-5.5 Instant 的测试设置)。换句话说,你从 API 通道看到的引用数据,只是 ChatGPT 真实引用行为的一部分。
这不是说监测工具不能用,而是说:在选工具之前,你得先知道它的数据是从哪条通道来的。
这项研究怎么做的:80 个问题、两个模型、各跑 20 次
先把研究口径说清楚,免得后面数字被误读。
这篇论文 10 月 11 日发布在 arXiv 上,是预印本,未经同行评审,样本量是 80 个问题——规模不大,结论应该当作方向性参考,而不是行业定论。
- 问题来源:Search Arena,一个公开的真实用户与 AI 对话库,40 个英文问题、40 个中文问题,覆盖推荐、事实查证、信息综合、分析四类请求。
- 测试模型:GPT-5.3 Instant 和 GPT-5.5 Instant,每个问题各跑 20 次。
- 采集时间:2026 年 3 月 29 日到 7 月 29 日。所有测试设置都早于 GPT-5.6 和 GPT-6。
- 替代来源:每题用 SerpAPI 抓取最多 5 页 Google 自然结果(平均每题约 43 条);同时用 OpenAI 的 Responses API 开启 web search,各跑 20 次。对每个问题,ChatGPT 实测与两项替代来源的采集均在同一个三天窗口内完成。
研究者比较了两个方向:一是替代来源能覆盖多少 ChatGPT 实际引用的页面,二是 API 答案引用的页面有多少也被 ChatGPT 应用端引用。两者分母不同,不能统称为同一个数据缺口。
关键数字:页面级找回约 1/4,站点级约一半
结果分两个层级看,这是全文最容易被写错的地方。先说明口径:这里的找回率,是把每题 20 次运行中至少被引用过一次的页面汇总去重后、逐题计算、再对 80 个问题取平均得到的(据论文方法);论文把子域名计为不同站点。
页面级:Google 结果 + API 两个来源合计,找回了 ChatGPT 实际引用页面的 26.2%(GPT-5.5)和 28.3%(GPT-5.3)。
站点级:同一口径下,找回了被引站点的 48.7%(GPT-5.5)和 50.3%(GPT-5.3)。
只看 Google 结果的话,数字更低:页面级 6.4%,站点级 22.8%(均对应 GPT-5.5 Instant)。
还有一个方向容易写反的数字:另一个指标以 API 答案实际引用的页面集合为分母,逐题计算其中也被 ChatGPT 应用端引用的比例、再对 80 个问题取平均,结果为 23.3%(GPT-5.5 Instant)和 16.4%(GPT-5.3 Instant);这反映的是两端引用集合的重合程度,不能解释为 ChatGPT 对页面相关性或质量的认可。
页面级和站点级的差距,对外贸企业来说尤其值得注意:站点被引用,不等于你那一页被引用。 如果工具报表只告诉你"你的域名出现在 AI 回答里",你看不到到底是产品页、博客还是某个老掉牙的新闻稿在替你说话。做 GEO(生成式引擎优化) 效果追踪,这两级数据必须分开看。
为什么对不上:ChatGPT 改写查询,中文问题常常改用英文搜
ChatGPT 的检索行为本身就不好复现。
论文发现,在可见搜索的运行中,GPT-5.3 和 GPT-5.5 从来不用原问句去搜索——一次都没有。它会先改写查询,部分运行还会生成多条查询;其中,围绕原问题展开多条搜索查询的情况,称为查询扇出,我们之前在 ChatGPT 查询扇出研究 里拆解过。你拿原问句去 API 里重跑一遍,本来就跑不到同一条路上。
更值得注意的是语言变量。在中文问题且能观察到实际搜索查询的运行中,GPT-5.3 Instant 有 67.0%、GPT-5.5 Instant 有 69.6% 只使用英文查询。你用中文提示词去测,AI 却在英文世界里找答案——这中间的错位,会直接体现在引用结果上。
而语言对 AI 推荐的影响有多大?据 Search Engine Journal 的一次作者自测(单日采集、英国语境、单一样本),在 Claude 的机票推荐测试中,同一个问题换五种语言问,easyJet 被推荐的比例从 12.5%(波斯语)一路到 72.5%(俄语)。不同市场、不同语言下的 AI 引用本来就不一样,可参考 本地与全球 AI 引用差异。对外贸企业来说,只用英文提示词测 AI 可见度,对做多语种市场的业务会明显失真。
还有一层不稳定:对每题 20 次运行返回的检索页面去重,计算仅出现一次的页面占比,再对问题取平均:GPT-5.5 Instant 为 44.5%,GPT-5.3 Instant 为 40.8%。跑一次就下结论,等于抽盲盒。
这一点,另一项独立研究从 API 侧印证了。据 Kingy AI Citation Index 公布的数据(官方 API 向 OpenAI、Claude、Gemini 发 1,200 个问题、每题问两次),被引域名的两轮重合度 Jaccard 分别是 OpenAI 0.664、Claude 0.515、Gemini 0.319。这里的 Jaccard 均值排除了两轮都无引用域名的问题,不能理解为全部 1,200 题的无条件平均。Kingy 原页自己也声明:官方 API 结果可能与消费级应用不同。两项研究一个从应用端、一个从 API 端,指向同一个操作建议:同一提示词,必须多跑几次。(Kingy 属有方法的从业者研究,单一来源。)
监测工具到底怎么拿数据:API 通道和应用通道
那市面上这些 AI 可见度监测工具,数据到底怎么来的?
据行业从业者的方法梳理(Growth Method 的调查,单一来源),主流工具的通用做法是:定时向模型发送一批提示词,存下完整回答,再对提及、情感、引用源打分。而数据供应商这一层,本身就分两种渠道:官方 API 通道,和面向用户的应用界面采集通道——后者是模拟真实用户在 ChatGPT 应用里的提问。
确实有厂商公开说明自己走 API。比如 AuditAE 在其产品页自述,通过 OpenAI 的 Responses API 加 web search 来跑买家提示词(厂商自述,单一来源)。至少有一家厂商公开说明走 API 通道,这就够说明问题了——API 通道是行业里的真实选项,而论文测出的缺口,恰好落在这条通道上。
这里必须划清边界:论文没有测试任何商业工具,也没有说哪家工具不准。它比较的是特定模型、提示词和采集设置下,API 与应用端引用的重合情况。你不能由此推断"主流工具都走 API",但你有理由在采购前问一句:你们的数据,是 API 还是应用端?
外贸团队选 AI 可见度工具,先问这 5 个问题
把这套研究翻译成采购清单,就是五个问题:
- 1. 数据走 API 还是 ChatGPT 应用? 如果是 API,请对方说明如何应对查询改写和语言漂移带来的缺口。
- 2. 同一提示词跑几次? 只跑一次的数据,参考价值有限。行业方法论建议(据 ecommercefastlane 的从业者建议,单一来源、非实测数据):提示词集控制在 30–50 条,按购买意图分层;最重要的 15 条每周测,完整集每月测;每次用干净会话,并留存原始回答原文,方便回溯。
- 3. 页面级和站点级是否分开报? 只报站点级的工具,看不出你哪一页在起作用。
- 4. 多语言提示词怎么覆盖? 你的目标市场说德语、西语、阿语,就要用这些语种的提示词去测,而不是拿英文结果推算。
- 5. 模型换代后多久重新校准? 这条下一节展开。
还有一个容易被忽略的维度:测了 ChatGPT,不等于测了 Gemini 或 AI Mode。据 TheToolsVerse 的一次实测(一个品类、一个晚上、40 个问题,单一样本,且属推广内容;采集于 2026 年 10 月 9 日当晚),ChatGPT、Gemini、Google AI Mode 回答同一批问题时,600 个去重被引页面里有 556 个(92.7%)只被一个引擎引用,三个引擎都引用的只有 2 个。在这次实验中,跨引擎引用重合较少——买工具的时候,问清楚它覆盖哪几个引擎。
选好工具之后,下一步是定 AI 可见度 KPI 怎么设,别让报表上的数字变成没人对得上的孤立指标。如果团队没有精力自己搭多语言、多次复测的监测流程,可以了解我们的 GEO/AI 搜索优化服务。
怎么做:三条能马上落地的动作
不管你现在用不用工具,这三件事这周就能做。
- 第一,给现有报表做一次口径体检。 找服务商要一句明确答复:数据来自 API 还是应用端、每题跑几次、页面级和站点级是否分开。答不上来的,报表先降级为"方向参考"。
- 第二,建一个 30–50 条的核心提示词集,用目标语种写。 按购买意图分层(找供应商、比价格、问认证、问交期),最重要的 15 条每周安排一轮复测,同一提示词在独立干净会话中重复运行,并记录重复次数;每次都存下原始回答。三个月后你就有自己的基线,不必完全依赖第三方。
- 第三,给询盘来源加一个 AI 选项。 在询盘表单、WhatsApp 首问和销售跟进话术里,统一问一句"您从哪里了解到我们",选项里加上 ChatGPT/AI 助手,允许多选。把这类字段沉淀在 营销 CRM(客户关系管理) 里,和 AI 可见度趋势对照看。汇报时看份额和方向,不当绝对值。
模型一换,基线就得重测;把 AI 数据和询盘来源一起看
最后说一个时间问题。这篇论文的所有测试设置,都早于 GPT-5.6 和 GPT-6。
据 OpenAI 帮助页的信息,GPT-6 正在向 Plus、Pro、Business、Enterprise 用户推送,GPT-5.6 Luna 成为 Free 和 Go 用户的默认模型。而据 Sistrix 的观察,GPT-5.5 切换(5 月)前后,德语区 ChatGPT 引用的逐日波动幅度从常态的 1%–2% 跳到了 47%——注意,这是波动幅度,不是引用量涨了 47%。
模型一换代,你上个月建的基线就可能作废。所以第五个采购问题才那么重要:对方多久重新校准一次?
也正因为工具数据只能看方向,你需要补一条自己能掌控的数据线:询盘来源自报。表单、WhatsApp、销售跟进三处统一问来源,AI 选项允许多选;和监测工具的趋势对照看。工具告诉你"AI 里的声量在涨",自报数据补充客户是否提到 AI 渠道——两条线对上了,才敢往汇报里写。需要说明的是,自报来源存在回忆和归因偏差,两条趋势一致也不能直接证明因果;相关方法思路出自 Ahrefs 的方法说明( https://ahrefs.com/blog/how-to-measure-ai-search-visibility/ )。
顺带提一句:被监测的页面,AI 爬虫得先读得到,这是另一个话题,我们在站内其他文章里聊过,这里不展开。
不确定手上的 AI 可见度报表测的是不是 ChatGPT 的真实引用?给我们留言,告诉我们你的目标市场和语种,我们帮你理一遍监测口径。
参考资料
- Search Engine Journal:《OpenAI's API Only Partly Matched ChatGPT's Citations, Paper Finds》 https://www.searchenginejournal.com/openais-api-only-partly-matched-chatgpts-citations-paper-finds/593304/
- Kingy AI Citation Index(2026-10-05) https://kingy.ai/research/kaci-wave-one-ai-citation-study/
- TheToolsVerse:AI citation overlap 实测(2026-10-09) https://thetoolsverse.com/blog/ai-citation-overlap-chatgpt-gemini-ai-mode
- Growth Method 工具方法梳理(含 AuditAE 厂商自述) https://growthmethod.com/ai-visibility-tools/ 、https://auditae.app/chatgpt-brand-monitoring
- Search Engine Journal:语言如何改变 AI 推荐品牌(作者自测) https://www.searchenginejournal.com/lost-in-translation-how-language-changes-which-brand-ai-recommends/591585 ;ecommercefastlane 从业者建议 https://ecommercefastlane.com/ai-visibility-tools-ecommerce-track-chatgpt-brand-mentions/ ;Ahrefs 方法说明 https://ahrefs.com/blog/how-to-measure-ai-search-visibility/