技术

Anthropic称AI加速自身研发 触发自我改进安全门槛

Adrian Kessler
在 Google 中添加我们

Anthropic正式认定,人工智能加速自身研究的速度,已经达到触及公司自设红线的程度。在修订后的IPO招股说明书中,这家Claude的开发商表示,已达到《负责任扩展政策》设定的AI研发能力门槛。这套内部规则决定了其模型需要接受何种程度的安全防护与监督。政策将这一门槛描述为递归式自我改进的起点,也就是AI系统开始加速研发更先进AI的阶段。

这项认定不同寻常之处,在于它并非基于已经发生的情况。Anthropic写道,这一判断是“基于我们对未来模型的预期以及整体进展速度,而非基于我们从当前模型中观察到的情况”。目前没有任何一款在售的Claude模型被证明越过了这条线。公司依据自身预测采取行动,并在股票开始交易前将此事告知投资者。

Anthropic列出的证据来自公司内部。招股说明书称,在最近某个月,Claude撰写的内容占Anthropic代码库新增内容的90%以上;每位工程师每天贡献的代码量,则增长了45倍以上。Anthropic还表示,其模型“撰写了我们越来越大比例的代码,也越来越多地承担研究工作,包括安全研究”。

政策规定了两种触及这一门槛的情形。第一种是,某个模型能够以有竞争力的成本,全面替代Anthropic所有研究科学家和工程师。第二种是AI进展出现“显著加速”:政策将其定义为把大约两年的进展压缩到一年内完成,而且这种加速有可能由自动化研究推动。由于第二项标准只要公司能够“观察到或预期到”这种跃升便算符合,因此,仅凭预测就足以触发门槛。

越过这条线,意味着Anthropic必须采取更严格的一系列防护措施。政策要求针对全球资源最充足的攻击者开展“登月式”安全项目,并进入“全程监控”状态:记录每一项关键AI开发活动,再用AI分析其中的威胁,包括来自人类或机器内部人员的威胁。公司的内部红队还必须发现比其漏洞悬赏计划中所有外部研究人员加起来更多的越狱方法。招股说明书称,为加强对模型权重失窃的防护,公司已经将一款新前沿模型的预训练推迟了一个多月;随着Claude承担越来越多研究工作,公司也在考虑要求部分研究决策必须经过人工签字批准。

对于在工作中使用Claude或Claude Code的人来说,实际影响可能是产品发布变慢。与IPO材料一同发布的创始人信中表示,Anthropic有时可能会选择“放慢推进速度,即使我们本可以更快,以便让系统更安全,即便这会使我们处于竞争劣势”。目前各款应用没有任何变化。

这项认定是Anthropic依据自愿制定、且可自行修订的政策作出的自我评估,目前没有外部审计机构予以确认。政策承认,这一门槛“在实际操作中一直难以界定”;申报文件也坦言,许多证据属于滞后指标,因此真实的加速可能要等到发生之后才会被发现。招股说明书中的风险披露也旨在保护公司免受未来诉讼。正如Gizmodo报道的那样,同一份文件的早期版本只称Anthropic“可能很快达到”相关标准。

Anthropic表示,仍在评估基础数据,并将发布更多报告,说明达到这一门槛意味着什么。公司股票预计将于11月18日定价,并于11月19日在纳斯达克开始交易,股票代码为ANT,拟定发行价区间为每股70至78美元。目前,证明这条线已经被越过的唯一依据,仍是Anthropic自己的预测。

标签: , , , , ,

在 Google 中添加我们

讨论

有 0 条评论。