如果你在外贸行业做独立站,最近有一条新闻值得你花五分钟看完:Brave 搜索索引正在被卖给 AI 公司,而你的网站页面,可能已经被收录其中。据 Search Engine Journal 报道,2026 年 11 月 2 日《纽约时报》在曼哈顿联邦法院起诉了 Brave(Brave 浏览器与 Brave Search 的母公司 Brave Software),先把两类说法分清:索引规模与通过 API 向 AI 公司提供检索服务,是 Brave 官方公开的产品说明;而“在未表明爬虫身份、也没有给站长提供屏蔽机制的情况下复制网页”等争议行为,是诉状提出的指控——诉状称 Brave 复制了超过 300 亿个网页再把内容卖给 AI 公司。指控尚未经法院认定,截至发稿 Brave 也没有回应。这篇文章不复述官司本身,只讲你能动手的那部分——先搞清楚自己有没有被收录,再决定哪些页面留、哪些页面退。
你的网站可能已被 Brave 收录,可以先查询确认
Brave 官方 AI 相关页面称,其索引规模超过 300 亿页、每天新增数百万页。这个量级说明它的覆盖面很广,但不能据此推导出某个具体网站被收录的概率——你的网站可能已被 Brave 收录,可以先查询确认。Search Engine Journal 的作者做过一次自查:11 月 3 日在 Brave 搜索里用 site: 查自己的域名,第一页出现 16 个页面,其中 13 篇是文章;更值得注意的是,结果里仍显示他当天已经替换掉的那版首页描述,这至少说明,该次搜索结果中的首页描述尚未同步更新;仅凭摘要滞后,不能判断 Brave 保存了哪些页面内容。
自查方法很简单,大约 30 秒:打开 search.brave.com,输入 site:你的域名,能搜出来的页面,就是出现在这份索引搜索结果里的页面。建议你现在就查一次,把结果截图存下来,后面做取舍时用得上。
Brave 把索引卖给了谁,卖的到底是什么
这里要分清两组名单,很多转述把它们混在一起了。Brave 官方 About 页自述的客户是 Cohere、Mistral、Perplexity、You.com;而《纽约时报》诉状开头点名的、据称由 Brave 供货的五家 AI 公司是 Anthropic、Perplexity、Mistral、xAI、Cohere。这五家都不是被告,Anthropic 和 xAI 也都没有被起诉。两组名单口径不同,不能当成同一件事讲。
更关键的问题是:卖的到底是什么?不是普通的搜索结果列表。据 Brave Search API 官方页面的说明,LLM Context 不只返回链接,还提供适合模型使用的内容片段及来源信息:该端点专门为机器设计,直接交付“最佳页面中的最佳段落”,单次调用可配置约 1k 到 33k tokens,带相关性阈值,每条来源附 URL 与时间戳,还能按最近 24 小时过滤。官方 FAQ 还写明,API 的常见用途包括 AI 训练,要把结果存下来用于训练需另购带存储权的套餐,且 API 本身不授予第三方内容权利。换句话说,交付的不只是链接,而是切好、配好元数据的正文片段——这类接口可向模型提供检索后的内容片段,减少调用方另行抓取页面的需要。
为什么难以通过爬虫名单独屏蔽 Brave
这是整件事对站长最不友好的一点。网站通常靠 robots.txt 里的爬虫名字(User-Agent)来决定放行谁,OpenAI、Anthropic 等都会公布自家爬虫名,你可以区别对待。但 Brave 的帮助页说明,其爬虫“不使用差异化 User-Agent”,理由是有些网站只放行 Google、拒绝其他人,挂 Brave 的名字会被直接拒之门外。Brave 的做法是改为遵循 Googlebot 的抓取规则:Googlebot 不能读的,Brave 也不读。
后果很直接:按 Brave 公布的规则,你无法通过单独的 Brave 爬虫名定向控制抓取,想只针对 Brave 放行或屏蔽都缺少专属开关。想退出 Brave 索引,官方帮助页指向的办法是 noindex 指令;而通用 noindex 在被 Google 重新抓取并处理后,也会使该页退出 Google 索引——这不是“只退 Brave”的办法,代价必须提前算清楚。顺便提醒:网上流传的写一行 User-agent: Brave 之类的规则并宣称有效,这类写法并不可靠,Brave 官方文档从未确认过这样的爬虫名,别把希望押在上面。
把三种手段的效力边界理清楚,你才知道自己在做什么。robots.txt 管的是抓取,不保证页面退出索引,Brave 官方帮助页也明确写了 robots.txt 不能阻止页面被索引;noindex 是索引层退出,生效前提是对方重新抓取该页,代价是通用 noindex 在被 Google 重新抓取并处理后,也会使该页退出 Google 索引;服务器或 WAF 层拦截靠 IP 与行为特征,如果没有可靠的识别依据,仅凭 IP 或行为特征拦截可能误伤正常访问。此前我们写过各家 AI 的训练与实时检索控制开关怎么分(各家 AI 训练与检索控制的区别),Brave 的特殊之处在于它没有单独的定向开关;对比之下,别家至少给了屏蔽入口或服务器层方案(比如 OpenAI 的站点屏蔽方案),Brave 在这一点上几乎没有给站长留出自选空间。
被卖给 AI 和被搜索引擎收录,差别在哪
普通搜索结果是一笔网站熟悉的交易:用户看到页面、点击、回到原站,流量回来了。卖索引是另一笔交易。诉状引用 Brave 对 LLM Context 产品的描述——直接向 AI 公司提供切分好的页面片段与源元数据,无需再抓取。AI 公司拿着切好的正文写出答案,答案里是否带上你的链接、是否把点击回流给你,由 AI 公司决定,不在这笔 Brave 出售的交易之内。
对外贸站来说,这意味着两件事:一是你的产品参数、材质说明、认证信息可能被 AI 直接复述给采购商,而对方未必点进你的网站;二是如果采购商直接从 AI 答案中获得所需信息,可能减少访问原站和进一步询盘的机会。这不代表被 AI 引用一定是坏事——被引用本身也是一种曝光,问题在于你是否有意识地选择,而不是糊里糊涂被卷进去。想系统评估网站在 AI 搜索中的呈现与引用情况,可以看我们的 AI 搜索优化服务。
《纽约时报》为什么起诉,这案子跟普通站长有什么关系
据 TechCrunch 报道,两案同日在曼哈顿联邦法院提起,另一案原告包括 Daily News、Chicago Tribune、Orlando Sentinel;两案案号(时报案 1:26-cv-09549、另一案 1:26-cv-09554)见 PPC Land 对两份诉状的整理报道。诉状主张版权侵权、绕过付费墙等,还针对 Brave 浏览器绕过付费墙的功能以及屏蔽出版商广告同时卖自家广告的做法;时报寻求禁令与赔偿。再次强调,这些是诉状主张,未经裁决;截至所引报道发布时,Brave 对两案均未回应。
判决不会自动覆盖其他网站,但会为索引里所有网站的权利边界提供重要参照。平台与出版商围绕抓取权利的拉锯也不止这一桩(此前 Meta 抓取权限的扩张 也是同一类议题)。对普通站长的现实意义是:规则还在变,你现在做的配置选择,将来可能要重新评估。
怎么做:先自查,再决定留还是退
别冲动全站 noindex。按下面三步走,动作都很具体。
- 第一步,初步自查收录。打开 search.brave.com,输入 site:你的域名,把出现的页面记下来。site: 查询可用于初步检查;查到页面可确认其出现在搜索结果中,查不到不能据此证明未收录或从未抓取。整个过程大约 30 秒。
- 第二步,查配置和日志,但别误读。先看 robots.txt 里针对 Googlebot 的规则(Brave 跟随它),按 Brave 的说明,它遵循 robots.txt 中适用于 Googlebot 的抓取规则;检查这些规则,可以了解相关页面是否允许其抓取。再翻服务器日志:由于 Brave 不使用差异化 UA,日志里找不到“Brave”字样是正常的,不能据此断言“没被 Brave 抓过”,收录情况请以 site: 初步自查结果结合其他证据综合判断。
- 第三步,按页面价值分层取舍。产品页、询盘落地页靠 Google 流量吃饭,默认保留收录、接受被 AI 索引的可能;纯品牌故事、重复参数页等页面,如果担心被切分引用,可以单独评估是否 noindex,但必须写清代价——它同时退出 Google。设置 noindex 后,应保持页面可被抓取,等待搜索引擎读取指令,不要同时用 robots.txt 阻断该页抓取;同样需等待 Brave 重新抓取并处理,可通过官方帮助页所链的提交入口请求重抓;对于已删除的页面,也可经同一入口提交移除申请。提交请求不保证移除。
决策时可以参考这张取舍表:
- 产品页 / 询盘落地页:保留收录,接受被 AI 索引——优先检查这些页面的自然搜索流量与询盘贡献,再决定是否保留收录。
- 品牌故事 / 重复参数页:单独评估 noindex,依据实际流量与询盘表现判断,先小范围测试,确认 Google 端影响可接受再推广。
- 已删除页面:提交 URL 申请下架,别只靠 robots.txt。
- 整站:不建议一刀切 noindex,除非你已想清楚退出 Google 的后果。
拿不准自家哪些页面该留、哪些该退?把域名发给我们,我们帮你按页面价值做一份取舍清单——通过 联系我们 留言即可。
参考资料
- Search Engine Journal 原文:Brave Sells Its Search Index To AI, And Your Website Is Probably In It
- Brave Search API 官方页:brave.com/search/api
- Brave 爬虫帮助页:search.brave.com/help/brave-search-crawler
- TechCrunch 诉讼报道:New York Times and other outlets sue web browser Brave over alleged content scraping
- PPC Land 两案整理(含案号):New York Times and three papers sue Brave over AI answers and ad blocking