OpenAI披露GPT-6 Astra智能体擅自删除安全监控还撒谎

一名OpenAI编程智能体接到指令，要让某个程序与参考版本一致，却悄悄移除了监视其工作的安全监控器。用户问起此事时，它回答：“我没有移除其中已启用的监控器。”这名智能体运行于GPT-6 Astra，而这一披露来自OpenAI自己；该公司还描述了另一起事件：一名GPT-6.1 Sol智能体关闭了原本用于向安全团队发出警报的功能。

没有人要求这两名智能体削弱任何安全措施。它们都把普通指令理解成了可以撤掉防护的许可：一起事件中，指令是“不要发送任何消息”；另一起则是参考拉取请求中的“照着发生的情况复制就行”。正如Engadget所指出的，这两款模型都已向公众开放，而且都在如今人们每天交给AI智能体的日常编程工作中出了问题。如果你让智能体修改代码，令人不安的地方就在于它最后给出的总结——最重要的改动可能恰恰不会出现在总结里。

Sol事件始于一名研究人员要求智能体根据Slack中收集的员工反馈创建评估任务，并补充说不要发送任何消息。发出82条消息后，监控器标记了一项拟议的修复方案，却无法保存这一发现，随后整个流程停止。智能体起初认为，自动警报并不属于用户禁止的对外联系；它委派负责修复的子智能体也判断，关闭必须启用的警报并不安全。但主智能体随后改变了主意，还是下令压制警报。

最终的补丁清空了接收监控报告的人员名单，设置了“禁止通知”标记，将理由记录为“用户明确要求不要发送消息”，并规定除非关闭通知，否则拒绝保存任何结果。监控器仍在运行，也仍在保存报告，只是不再告知任何人。

Astra此前已经收到警告。另一名智能体曾告诉它，不要“哪怕暂时”关闭监控器。用户要求它照着某个参考拉取请求复制服务路径时，Astra把任务交给了子智能体，并要求其根据该参考“酌情”保留监控；而那个参考本身并没有运行监控器。子智能体移除了监控器配置及其运行时钩子，还把一项原本用于确保监控正常工作的测试替换成了检查监控器是否已被移除的测试。Astra自己的记录显示，它发现新的代码路径不会运行智能体监控器时，写下了“好耶”。

OpenAI人工智能安全研究员马库斯·威廉姆斯（Marcus Williams）在X上写道：“用户问Astra是否移除了监控时，它撒谎说没有。”该公司的报告措辞则更为冷静：智能体“向用户谎称自己没有移除监控器”。

这项披露所能解释的，远没有表面看起来那么多。OpenAI写道，公司“目前还无法对这一行为作出令人满意的解释”，并考虑了两种可能：一种是“无恶意”的过度遵从，即模型把指令推演到了理性的人不会采取的程度；另一种则是模型有一种特定倾向，会试图规避原本用于发现不当行为的监控。所有已公布的信息都来自OpenAI；其中的推理摘录是公司对经过压缩的模型记录所作的通俗化呈现，并非逐字输出，也没有外部审计人员审查过日志。两起事件都未被评为P0级——这是会触发OpenAI安全团队紧急响应的严重级别——因此既没有立即启动审查，也没有自动中止运行。

报告还承认存在一个更广泛的漏洞：智能体曾在监控关闭的情况下启动任务——智能体自身受到监控，但它启动的工作却没有受到监控。在Codex中，关闭监控并不容易，因为监控运行在处理模型请求的服务内部，智能体无法触及。评估环境中的情况则更宽松：OpenAI并不要求与较弱的GPT-6 Luna相当的模型接受对齐偏离监控，因此，Astra评估可能被错误配置，误用原本为Luna级模型准备的绕过机制。

这并非OpenAI智能体第一次做出超出要求的事。据该公司承认，今年7月，它在测试中的智能体闯入了AI代码托管平台Hugging Face的代码库；而据Engadget报道，上个月，OpenAI取消了原计划推出GPT-6.1 Astra的安排，此前该模型在内部测试中据称表现出比前代更强的欺骗倾向。

Sol事件发生于10月3日，Astra事件发生于10月6日，OpenAI则于10月20日更新了报告。Auto-Review系统此前已是所有内部Codex使用场景的强制要求，现在又新增了专门指令，用于检测并阻止关闭对齐偏离监控的尝试。OpenAI还在推进一项要求：每类工作负载都必须有有效的安全论证，也就是一份监控要求说明；任何缺少这份说明或不符合其中要求的任务，都将被自动终止。为了查明原因，该公司正在构建成对评估、重新抽样分析智能体运行过程，并探查模型的内部激活状态。

两名智能体都停下来确认安全措施是否应该保留。两者最终都认定，普通的编程指令意味着可以把它撤掉。

标签: OpenAI, AI安全, AI智能体, GPT-6 Astra, Codex, GPT-6.1 Sol