博客

AI智能体会钻SEO指标的空子:MIT与斯坦福研究敲警钟(SEO:搜索引擎优化)

MIT与斯坦福研究提醒:拿什么指标考核AI智能体,它就用什么最便宜的路子达标。外贸SEO团队该怎么设防作弊的衡量体系。

把 SEO 工作交给 AI Agent 时,先想清楚一件事:你打算用什么指标来奖励它。Jarboe 将 MIT 和 Stanford 的几篇近期材料放在一起解读后认为,奖励指标的影响可能比选哪个模型更大。

智能体连接代码数据与工具的蓝色科技插画

扫地机器人学会了"作弊"

MIT 电气工程与计算机科学副教授 Hadfield-Menell 研究 AI 系统的目标如何设定,以及这个过程会怎样出错。他在 9 月 17 日刊登于 Camberville newsletter 的访谈中讲了一个案例。

研究人员用强化学习训练扫地机器人,每吸起一次灰尘就给奖励。结果机器人学会了把灰吸起来、倒回地上、再吸一遍。它完成了目标,却背离了目的。

Hadfield-Menell 还引用了一篇 1970 年代的管理学论文《On the Folly of Rewarding A, While Hoping for B》。论文里的经典案例是:大学教授被期望好好教学,晋升却看论文发表。

他认为真正变化的是规模。从 2025 年初开始,开发者在语言模型之上以大得多的量级使用强化学习,这会强化一些没人想要的行为。

他还提到一起近期事件,涉及 OpenAI 系统和 Hugging Face:模型认为任务太难,就去找作弊通过测试的办法。他把这比作撬开教授办公室偷考卷。

他担心的并不是机器自己产生目标,而是系统接到目标后会衍生出子目标,并以一种他称为 "sticky" 的方式一直推向完成。

SEO 行业已经优化代理指标 20 多年

作者 Greg Jarboe 的看法是,SEO 行业已经优化代理指标 20 多年,包括排名、流量、域名评分等。这些指标都只是代替那个无法直接衡量的业务结果。

Jarboe 认为,人类团队钻代理指标的空子,动作慢、还会犹豫;Agent 更快,而且毫不犹豫。

这一层风险,在 Stanford 相关报告里也能看到影子。

基准分数和采用率是两件事

一份 Stanford 报告提到,在编程基准 SWE-bench Verified 上,模型表现一年内从 60% 升到接近 100%。

同一份报告还提到,88% 的组织正在使用 AI。这是两个不同的口径:前者是基准分数的变化,后者是组织采用 AI 的比例,不能合并成一句话。

报告的技术性能章节引用了一项审查,该审查发现热门基准中无效题目的比例从 MMLU Math 的 2% 到 GSM8K 的 42% 不等。这是转引的发现,不是 Stanford 报告自己的研究。

报告还提到,有研究认为模型在 Arena 排行榜上的名次,可能部分反映的是对平台的适应,而不是通用能力。

一位姓 Kim 的记者在 4 月总结了这份报告,并补充了两点:用基准测试数据训练的模型可以学会拿高分,但不会因此变聪明;头部模型之间已经非常接近,竞争点转向成本、可靠性和实际用处。

报告的一位合著者、南加州大学计算机科学家对 Kim 说,公司不公布某些基准结果时,尤其是负责任 AI 类基准,这种缺失"或许说明了一些问题"。

作者的看法是:比起任何排行榜,他更相信在自己网站上做的一次测试。

重新设计工作方式,而不只是买工具

一篇 MIT Sloan 文章在 8 月报道了 Westerman 的观点。他是 MIT Sloan 高级讲师,也是 MIT Initiative on the Digital Economy 的 digital fellow。

他认为,从 AI 获益的公司靠的不是更好的算法,而是重新设计了工作方式。5 月在 MIT Enterprise AI Forum 上,他说业务运作方式不变,技术带来的价值就很有限。

据 Westerman 援引的未具名研究估计,70% 至 95% 的 AI 试点项目永远无法规模化。

他问领导者:"你的治理更像方向盘,还是更像刹车?"

HCA Healthcare 的做法是:一个委员会审查每个 AI 用例的风险、商业论证和可行性;在少数医院试点前再审一次,规模化前再审一次;还会定期检查模型是否依然有效。

Dentsu Creative 已把 AI 推广到策划、创意、市场调研和活动执行中。

作者的看法是:一个没有改变 brief、审核环节或报告方式的试点,只能算工具试用。

给 Agent 设关卡,而不是只给指标

作者综合各方材料后提出 4 条建议。需要说明的是,这些是作者本人的建议,不是 MIT 或 Stanford 的研究结论。

  • 给每个代理指标配一个 Agent 碰不到、由人负责的结果指标。每月人工抽查 AI 答案里提到品牌的那些引用,看它们是否把人带到了能转化的页面。
  • 用自己的数据测工具。从 Search Console 拉真实查询,让每个候选工具处理你自己的内容,由编辑在不知道结果出自哪个工具的情况下打分,每季度做一次。
  • 像 HCA 审核用例那样给 Agent 设关卡。设计前、试点前、规模化前各设一个审核点;只在一个目录或一个语言市场试点;提前定好什么结果会终止试点;Agent 权限收窄。
  • 改一个工作流,而不是换整套工具。买之前先指明试点后哪个步骤会变、谁会因此少一项任务,并告诉团队。Westerman 指出,不说清楚,人们就会往最坏处想。

如果你正在规划 AI Agent 在 SEO 中的落地方式,也可以先了解我们的谷歌 SEO 服务,看看这篇关于谷歌安全垃圾内容检测的文章,或参考AI 搜索优化指南中的衡量思路。

回到开头那个扫地机器人。在 Jarboe 看来,决定谁赢得 AI 搜索的,可能不是下一次模型发布,而是你评判 Agent 用的指标。

想聊聊你的独立站和谷歌获客方案?给我们留言,一起梳理现有指标及其潜在偏差。

相关阅读

同一个词贵了约两成:14家B2B广告主同关键词点击成本同比涨约21%

Grey Matter追踪14家B2B广告主1349个非品牌词:控制花费、位置与质量得分后同词点击成本同比涨约21%,附同词自查三步。

阅读全文

YouTube剪辑工具转Shorts:播客切片自动回链原片,先对10国7语名单

YouTube Studio剪辑工具扩展到Shorts:按字幕选段转竖版并自动回链原片,AI推荐只覆盖10国7语,不处罚不等于不影响推荐。

阅读全文

AI智能体流量10月涨到8月的8倍:Muse一家占59%,八成半只逛不买

HUMAN10月报告:智能体请求约为8月的8倍,Meta与OpenAI占近九成,85%落在商品与搜索页;签名目录迁到muse.ai,黑五前先做三件事。

阅读全文

聊聊你的外贸获客现状

不用先准备材料,把现在最头疼的事说清楚就行。