Meta 更新了商业条款，把网站爬取授权和"你有没有投广告"解绑了。据 Nieman Lab 报道，新条款将于 2026 年 10 月 30 日生效；按目前披露的信息，只要你使用 Meta 的商业产品做生意，哪怕只是运营一个 Facebook 主页、只用 Business Suite 而不投一分钱广告，你企业的网站就可能落在授权范围内。对外贸企业来说，这不是一条"看看就好"的科技新闻——你的产品页、报价页、资料下载区，如果与企业使用 Meta 商业产品存在条款所述的关联，则可能进入其主张的授权范围。这篇就把 Meta 爬虫到底改了什么、几类爬虫该怎么分开处理、10 月 30 日前该检查哪几项，一次讲清楚。
Meta 改了什么：从"投广告才授权"变成"商用就授权"
据 Search Engine Journal 梳理，Meta 这次更新的核心，是把爬取授权从广告场景扩展到所有商业使用场景。把新旧条款摆在一起看，变化更清楚：
- 现行 Commercial Terms（2024-03-06）：据 Search Engine Journal 梳理，没有爬取条款。
- 现行 Self-Serve Ad Terms（2025-08-22）：据 Search Engine Journal 梳理，已写明"下广告单即授权爬取广告主域名"，包含训练用途。
- Seller Agreement（2026-05-26）：据 Search Engine Journal 梳理，已包含测试凭证条款。
- 新条款（2026-10-30 生效）：据 Search Engine Journal 梳理，把上述授权整合扩大，允许 Meta 用爬虫抓取"与其产品有商业关联"的企业网站内容，用于开发和改进 AI 产品、研究与训练。
关键在"商业关联"这四个字。据 Search Engine Journal 梳理，适用范围包括只运营 Facebook 主页、只用 Business Suite 而不投广告的商家。据报道，继续使用 Meta 商业产品即视为同意新条款，不同意的选项是停止商用。Nieman Lab 引用的条款原文是："If you do not agree to the updated terms, please stop all access or use of our Products for business or commercial purposes."——没有单独的退出选项。换句话说，继续使用即被视为接受相关条款，不是一个可以逐项勾选的设置项。
争议在哪：测试凭证、robots.txt 和付费墙
据 Nieman Lab 2026 年 10 月 15 日 Andrew Deck 与 Hanaa' Tameez 的报道，三名法律专家应其请求审阅了新条款：Matt Topic（Loevy & Loevy 媒体与知识产权律师）、James Grimmelmann（Cornell 大学数字与信息法教授）与 Benjamin Sobel（威斯康星大学法学教授）。据 Nieman Lab 报道，Topic 称把这类条款埋进服务条款"很不寻常"，按许可市场估算价值可达数百万美元；法院是否执行尚不确定，但出版商应假定它会被执行。据 Nieman Lab 报道，Grimmelmann 称，对新闻出版商而言，这明显是允许 Meta 用其网站内容训练 AI，甚至可能用这些内容与出版商竞争。报道还引用了条款原文：企业授权 Meta（或其代理）使用自动化软件（如爬虫、机器人）并创建测试凭证，访问、索引、抓取与其产品/服务相关的域名、页面、URL 及通过其内容可获得的任何内容，并定期拉取更新；Meta 可将这些内容用于提供、开发、改进、研究、训练 Meta 公司产品，"train"一词明确出现。
据 Nieman Lab 报道，有法律专家认为，测试凭证条款可能被解释为允许 Meta 使用凭证访问部分注册后内容；是否适用于具体网站和内容仍有争议。据 Nieman Lab 报道，Grimmelmann 称这在技术上允许 Meta"注册为假用户"（sign up as a fake user）绕过出版商网站的注册墙；至于是否绕过付费墙，Meta 拒绝回答。
据 Nieman Lab 报道，Meta 发言人回应称，此次是把分散在各处的爬取相关表述合并到一处，新条款不会改变 Meta 未来抓取出版商的方式，并强调内容所有者仍可用 robots.txt 管理抓取。Meta 官方爬虫文档也提供了用 robots.txt 屏蔽其爬虫的说明。但值得注意的是，条款文本本身并没有提到 robots.txt。发言人说的和条款写的，是两回事。条款能不能压过 robots.txt，目前没有定论，谁给你一个斩钉截铁的答案，都值得怀疑。
Meta 官方列出的爬虫有 5 个，用途各不相同
很多人把"Meta 爬虫"当成一个东西。据 Meta 官方爬虫文档，其列出的主要爬虫有以下五类，用途和挡错的后果都不一样：
- FacebookExternalHit：抓取在 Meta 系应用中被分享的链接内容，生成标题、描述、缩略图等预览信息。据 Meta 官方爬虫文档，它在执行安全或完整性检查（如查恶意软件）时可能绕过 robots.txt。误挡它，可能导致链接预览无法正常生成或更新。
- Meta-WebIndexer：在全网爬行以提升 Meta AI 搜索结果质量。据 Meta 官方爬虫文档，允许它有助于 Meta 在 AI 回答中引用并链接你的内容。
- Meta-ExternalAds：为广告及商业产品用例爬行。
- Meta-ExternalAgent：为训练 AI 模型或通过直接索引改进产品而爬行。如果目标是不允许训练用途，可重点评估是否屏蔽该 UA。
- Meta-ExternalFetcher：执行用户发起的单个链接抓取以支持产品功能。据 Meta 官方爬虫文档，因是用户发起，它可能绕过 robots.txt。
据 Meta 官方爬虫文档，网站可以通过 robots.txt 中的 disallow 屏蔽上述各爬虫；其中 Meta-ExternalFetcher 可能因用户发起而绕过，FacebookExternalHit 可能因安全检查而绕过；robots.txt 变更最多 24 小时生效，因为爬虫会缓存。
外贸社媒获客恰恰高度依赖链接分享预览——客户在 Messenger 里收到你发的产品链接，有没有图、有没有标题，可能影响链接的可识别度和点击意愿。所以依赖 Facebook 或 Messenger 链接预览的企业，通常不宜屏蔽 FacebookExternalHit，还要确认没被顺手挡掉。
"训练"和"被引用"是两件事：为什么只挡一半
AI 的知识有两种来路。一种是训练时"背下来"的旧知识，一种是回答问题时"现场查"的新资料。挡训练爬虫，是不让你的内容被背进模型；留搜索爬虫，是让 Meta AI 回答问题时还能查到你、引用你、带上链接。
对外贸站来说，你要的是第二种曝光：客户问 Meta AI"哪家中国供应商做某类产品"，回答里能出现你的页面和链接。如果企业希望限制训练用途，可评估在 robots.txt 中为 Meta-ExternalAgent 单独设组；是否放行 Meta-WebIndexer，取决于企业是否希望内容可被 Meta AI 搜索发现。改动前先在测试环境验证写法。这两件事不冲突，是可以分开设置的。如果你想让 Meta AI、ChatGPT 这类 AI 搜索在回答里引用你的产品页，可以看我们的 GEO（生成式引擎优化）/AI 搜索优化，思路是同一套。
怎么做：10 月 30 日前检查这 5 项
先说一个容易踩的坑。很多站点在建站期留了一组"User-agent: *"加"Disallow: /"，后来忘了摘。这种情况下，Meta-WebIndexer 也会被一起挡在门外——你以为只挡了"不想要的"，其实把"想要的"也挡了。为某个 UA 建立独立规则组后，要完整检查该组内的每一条规则，不能想当然认为写一条 Allow 就一定生效。
建议在生效日前，逐项过一遍：
- 检查通配组有没有误挡：确认没有全局 Disallow 把 Meta-WebIndexer 一起拦掉。
- 为 Meta-ExternalAgent 单独写一组 Disallow：明确挡训练爬虫，而不是靠通配符碰运气。
- 为 Meta-WebIndexer 单独建组并完整检查整组规则：具体写法应先在测试环境验证，不能简单概括成一条 Allow 就认为必然生效。
- 确认没挡 FacebookExternalHit：结合分享预览测试、服务器访问日志及 Meta 调试工具检查，确认链接预览能正常生成。
- 查 CDN/WAF 的"一键屏蔽 AI 爬虫"开关：很多安全服务商提供这类批量开关，但它到底覆盖了哪些 UA、是否包含 Meta-WebIndexer，要按服务商文档核实，不能想当然。
robots.txt 只是声明，不是门锁：真正的边界在哪
这里要说清一件事：robots.txt 用于向爬虫声明抓取规则，但不是身份验证或访问授权机制；页面是否可公开访问，仍应由服务端权限控制。据 Meta 官方爬虫文档，部分爬虫在特定情形下可能绕过 robots.txt，这也说明它更接近一份约定，而非一道门锁。这次 Meta 的争议，本质上是同一个问题的另一个版本。
部分传统爬虫通常不会主动注册或完成登录，所以过去大家默认登录墙、表单墙能把 AI 爬虫挡在外面。但这里要区分两种"墙"：真正的服务端身份验证，本身就是有效的访问控制；靠前端表单、JS 弹窗做的遮挡，则挡不住会动手的爬虫。据 Nieman Lab 报道，有法律专家认为，测试凭证条款可能被解释为允许 Meta 使用凭证访问部分注册后内容；是否适用于具体网站和内容仍有争议。我们在 Anthropic 自曝 Claude 绕过网站限制时讲过，robots.txt 拦不住会动手的 Agent，真正的防线在服务器层。这次是第二种情况：不是技术越界，而是条款在法律上主张授权。结论一致——敏感内容不能只靠 robots.txt、前端弹窗或下载表单遮挡，应采用服务端身份验证和逐请求权限校验。顺带一提，门控内容在 AI 搜索里本来就容易隐形，可以看门控内容在 AI 搜索里为什么隐形。
还有一个容易误判的点：依赖 JS 弹窗或前端表单遮挡的内容，对部分抓取系统可能不可见，但这不等于受保护；是否可见需实测确认。别把"看不见"误当成"受保护"。
Facebook 主页和 Business Suite 还用不用：一个务实判断
是否停用 Facebook 主页，需要结合企业从该渠道获得的询盘、网站内容敏感度及合规要求判断。多数企业可以先调整抓取规则和内容权限，再决定是否停止使用相关产品。如果团队缺少持续跟踪平台条款和抓取规则的人手，也可以了解我们的海外社媒运营服务。
网站上你真正不想被拿去训练的，比如报价单、客户资料区、内部规格，本来就不该只靠前端遮挡保护，服务端身份验证和逐请求权限校验才是正解。
另外提醒一句：据 Search Engine Journal 报道，European Publishers Council 正在就此致函欧盟委员会。结果如何目前无法预测，我们也不做预测。
不确定你的 robots.txt 有没有误挡 Meta AI 搜索、又放过了训练爬虫？把网址和当前设置发给我们，通过联系页面留言咨询。
参考资料
- Meta 官方爬虫文档：Web Crawlers官方文档
- RFC 9309：Robots Exclusion ProtocolRFC 原文
- Google Search Central：Robots.txt 简介官方文档
- Nieman Lab：Meta's new commercial terms will allow the scraping of news sites, legal experts say（Andrew Deck、Hanaa' Tameez，2026-10-15）原文链接
- Search Engine Journal：Meta's New Terms Expand Crawling Rights Beyond Advertisers（2026-10-16）原文链接