内特·苏雷斯：呼吁叫停超级智能的AI研究者

内特·苏雷斯

Photo: Not credited by the source (published in the If Anyone Builds It, Everyone Dies media kit) / CC0, via Wikimedia Commons

出生	1989
职业	人工智能研究者

内特·索亚雷斯（Nate Soares）至今还留着当年在 Google 开设的退休账户，但他已经有大约十年没往里面存钱了。原因并非粗心大意：机器智能研究所（Machine Intelligence Research Institute，MIRI）主席认为，超人类人工智能很可能会在他老到能够动用这笔钱之前杀死所有人。如今，他会公开谈起这个判断，语气平静得像工程师在宣读测试结果。“我不太是那种担心 AI 会引发就业末日的人，”他今年秋天对一位采访者说，“我是那种认为 AI 会杀死所有人的人。”推动他工作的核心问题，是他拒绝当作已有定论的问题：一个预期最坏结果的人，是否仍能说服那些正在开发这项技术的人停下来。

让人难以轻易驳回他的，是他的经历。索亚雷斯并非后来才转行研究计算机的哲学家。他在乔治·华盛顿大学学习计算机科学和经济学，之后为美国联邦政府编写软件，先在美国国家标准与技术研究院担任研究助理，随后成为美国国防部承包商，为美国国防大学开发工具。再之后，他先后进入 Microsoft 和 Google——如今他呼吁政府加以约束的，正是这类公司。

2014 年，二十多岁的索亚雷斯（他出生于 1989 年）离开 Google，加入位于加利福尼亚州伯克利的一家小型非营利机构。多年来，这家机构一直追问一个被行业大多数人视为科幻的问题：怎样才能让一个比你更聪明的心智，按照你的本意行事？在 MIRI 担任研究员期间，他成为该机构技术研究议程的主要作者；这份议程由他与贝尼亚·法伦斯坦（Benya Fallenstein）共同撰写，后来以《Agent Foundations for Aligning Machine Intelligence with Human Interests》为题发表。2015 年 1 月，斯图尔特·罗素（Stuart Russell）、丹尼尔·杜威（Daniel Dewey）和马克斯·泰格马克（Max Tegmark）在《Research Priorities for Robust and Beneficial Artificial Intelligence》中引用了这份议程。这篇论文与一封公开信一同发布，信中呼吁 AI 研究者像重视系统的原始能力一样，认真对待系统能否造福社会。

同一时期还诞生了一篇为这个领域贡献了部分术语的论文。索亚雷斯与法伦斯坦、埃利泽·尤德考斯基（Eliezer Yudkowsky）和斯图尔特·阿姆斯特朗（Stuart Armstrong）合写的《Corrigibility》，于 2015 年初在 AAAI 的一场研讨会上发表，讨论了一个听起来简单、实际却并非如此的问题：一个能力足够强大、因而有用的系统，也可能强大到能够拒绝接受纠正或被关闭。索亚雷斯和尤德考斯基表示，这篇论文提出了“AI 对齐问题”这一术语；如今，连他们反对其计划的实验室也在使用这个说法。

2015 年晚些时候，索亚雷斯接替卢克·米尔豪瑟（Luke Muehlhauser），出任 MIRI 执行主任，并在这一职位上工作了八年。在他的领导下，研究所着眼于抽象数学问题，而非产品：决策理论、逻辑不确定性，以及智能体应如何推理自身这一形式化问题。他与斯科特·加拉布兰特（Scott Garrabrant）等人合写了《A Formal Approach to the Problem of Logical Non-Omniscience》，还与本杰明·莱文斯坦（Benjamin Levinstein）合写了决策理论论文《Cheating Death in Damascus》，该文于 2020 年刊登在 The Journal of Philosophy。2017 年，他回到 Google 发表演讲，梳理 AI 对齐领域尚未解决的问题，并指出这些问题比业内想象的更难。他还在自己的博客 Minding Our Way 上写了 Replacing Guilt，这组探讨动机的文章如今已结集成书出售。在一些圈子里，他因此更常因如何投入工作方面的建议而为人所知，而不是因机器研究出名。

转折发生在 2023 年。MIRI 宣布将工作重心从对齐研究转向向政策制定者和公众发出警示，同时继续支持部分技术研究。索亚雷斯从执行主任转任主席，马洛·布尔贡（Malo Bourgon）则出任首席执行官。2025 年，索亚雷斯告诉《The Atlantic》，他正把精力放在提高公众意识上，因为 AI 的发展速度太快，根本来不及建立足够的防护措施。

这一转向催生了《If Anyone Builds It, Everyone Dies》。这本书由他与尤德考斯基合著，于 2025 年 9 月由 Little, Brown 出版。书名已经点明了核心论点：任何“采用与当前技术有哪怕一丁点相似之处的方法”打造的超级智能，都极有可能导致人类灭绝；对齐研究远未准备就绪；只有国际监管才能阻止开发者竞相打造作者认为具有灾难性危险的系统。这本书于 2025 年 10 月登上《The New York Times》畅销书榜。随后，Planeta 推出了西班牙语版，Hayakawa Shobo 则于 2026 年 4 月出版了日语译本。

外界反响也暴露了这套论证最薄弱的一环。一些最尖锐的批评，恰恰来自同样忧心忡忡的人。有效利他主义运动的创始人之一威尔·麦卡斯基尔（Will MacAskill）称这本书令人失望，认为书中围绕进化作类比，论据薄弱；此外，作者还没有明说地假定 AI 进步会突然跃升，而非逐步攀升。克拉拉·科利尔（Clara Collier）在 Asterisk 上发表的书评，标题道出了认同作者担忧的读者的失望：《More Was Possible》。索亚雷斯很少深入谈及的，还有一个令人尴尬的问题：MIRI 多年来一直试图解决对齐问题，最终却得出结论，认为为时已晚。这既可以被视为学术上的坦诚，也可以被看作承认自身研究计划未能成功。面对外界对其确信程度的质疑，他用下棋打了个比方：即使不知道是哪一步将导致将死，他也能确定马格努斯·卡尔森会赢他。批评者认为，这恰恰就是问题所在：他预言了结局，却没有解释棋局中的每一步。

这一切并没有让他的态度有所软化。2026 年 10 月，在尼古拉斯·汤普森（Nicholas Thompson）主持的播客节目 The Most Interesting Thing in AI 中，他说，人类撑不过下一个十年的概率超过一半，并解释了自己为何一直没有动过 401(k) 退休账户里的钱。在同一场谈话中，他坚称结局并非注定。“我会尽我所能阻止这种结局。我不认为它不可避免，”他说。随后，他提到了 C.S. 刘易斯（C.S. Lewis）的文章《On Living in an Atomic Age》：如果炸弹落下，最好让它看到人们仍在做明智而正常的人类事务，而不是蜷缩着瑟瑟发抖。他把这句话化作自己的版本：“但愿它看到我们正在游说各国政府签署核不扩散条约。”

这就是他选择的工作。他仍担任 MIRI 主席，把时间花在采访、演讲和情况介绍上，试图将一项边缘研究领域的担忧，转化为一项国际协议，以叫停奔向超级智能的竞赛。那笔 Google 退休账户依然开着。他只是不再把希望押在它上面了。

标签: 人工智能, Google, Eliezer Yudkowsky, 人工智能安全, Machine Intelligence Research Institute, Nate Soares

相关人物

讨论