谷歌、OpenAI等四家将遵守robots.txt拒绝AI训练声明

过去，想让网站不被用于 AI 训练，就得针对每家公司分别写规则，还要逐个弄清 GPTBot、ClaudeBot 和 Google-Extended 这些名称。如今，Google、OpenAI、Anthropic 和 Microsoft 表示，今后都会读取同一行规则：写在 robots.txt 这个小型文本文件中的共享“政策标记”。从互联网早期开始，这个文件就一直用来告诉搜索引擎哪些地方不要访问。只需写一次，这条规则就能向四家最大的 AI 开发商表达同一个意思。

这个想法来自 Anthropic 的标准技术负责人凯文·凯利（Kevin Kelley），他已将提案提交给负责制定互联网技术规则的互联网工程任务组（IETF）。它巧妙之处在于，无须发明新的语法。网站所有者只需照常写一组规则，但 User-Agent 一行写的不是爬虫名称，而是用途：__usage_ai-training。在这一项下面，“Disallow: /”表示这里的所有内容都不得用于训练；也可以用“Allow”规则划出例外，例如公司愿意让模型学习的媒体资料包。

对博客、商店或新闻网站来说，这条规则最实用的一点，是它不会影响什么。它表达的是网站对内容如何使用的偏好，而不是谁可以访问，因此搜索功能仍能照常运作。Google 表示，如果网站通过这个共享标记选择退出，且没有另行提及 Google-Extended，就会将其视为屏蔽 Google-Extended；这会阻止内容用于 Gemini 训练，但网页仍会留在 Google Search 中。Microsoft 对 Bing 也作出了同样承诺：这一设置不会改变网页能否出现在搜索结果中。

Microsoft 比其他公司更进一步。除了训练用途，它还将新增一项单独的依据使用偏好，可通过 meta 标签或 HTTP 标头逐页设置，用来决定网页是否能为 Bing、Copilot 和 Microsoft 365 即时生成的答案提供依据。网站可以拒绝训练，同时允许这类依据使用，让自己的引文和链接仍出现在 AI 答案中。Microsoft 警告称，拒绝提供依据会“显著降低”网站在这些体验中的曝光度，而且无论作何选择，都不能保证网站会被纳入、获得流量或得到报酬。

不过，许多网站现有的 robots.txt 文件里藏着一个问题。凯利的草案特意规定，熟悉的通配规则“User-agent: *”不会识别这个新标记。因此，即使 robots.txt 目前屏蔽了所有爬虫，也不代表网站表达了任何关于 AI 训练的偏好。想要退出的所有者必须按名称添加新的规则组。这个信号也只对未来生效：规则出现之前各家公司已经抓取的内容，早已进入它们的训练数据集；草案也没有强制任何公司遵守。它只是四家公司承诺尊重的一项请求，并不是一道锁。

最显眼的缺席者是 Meta。Meta 传播负责人安迪·斯通（Andy Stone）告诉 The Verge，让同一个信号同时传达给多家服务商是“重要的一步”，但没有说明 Meta 是否会遵守。时机也颇为微妙。就在四家公司宣布支持的同一天，Meta 更新后的商业条款开始生效，允许其爬虫访问与 Facebook、Instagram 和 WhatsApp 商业账户相关联的网站，并将收集到的内容用于训练自家产品。

各家的推进节奏并不一致。Anthropic 已开始采用这一标记，不过凯利写道，要让旗下所有服务都覆盖到还需要时间。Microsoft 将从 2027 年 2 月 1 日起在抓取内容时遵守该规则，并在 3 月 1 日之后不再把旧版 NoArchive 和 NoCache 标签视为训练或依据使用信号。Google 计划在 2027 年支持这一标记，并承诺发布进展更新；OpenAI 则只承诺会在未来几个月内跟进。该提案仍须经过 IETF 的 AI Preferences 工作组审议，才能成为正式标准。Google 还指出，这项提案符合欧盟《通用人工智能行为准则》的要求；该准则已将 robots.txt 视为发布者声明机器可读偏好的主要方式。

这件事之所以引人注目，在于解决方案竟如此简单。围绕开放网络的所有权，多年来诉讼和授权争议不断，而各方首次给出的共同答案，只是一个任何人花一分钟就能编辑的纯文本文件中的几个字符。它究竟能提供多大保护，取决于接下来还有谁愿意加入；而旗下平台拥有最多商业页面的那家公司，至今还没有点头。

标签: 人工智能, OpenAI, Google, Anthropic, meta, microsoft