技术

埃隆·马斯克称Grok 4.8推迟是因为xAI用C/C++从零重写了整套软件

新的Grok之所以推迟,是因为xAI抛弃了它用于训练和提供模型服务的开源工具。马斯克称目前的结果“尚不令人惊叹”,并押注这次重写将在Grok 5中取得回报。
Adrian Kessler
在 Google 中添加我们

埃隆·马斯克最近一次谈及 Grok,真正耐人寻味的并不是编程语言,而是他话里透露出的另一件事:下一款模型之所以姗姗来迟,是因为开发团队抛弃了此前用于训练和部署模型的开源工具,转而从头编写了自己的系统。

如果把这条帖子当作发布预告来看,语气相当乐观:训练已经完成,评测结果不断提升,本周结束前就会开始小范围推送。但从系统架构的角度看,它透露出更大的变化。如今已成为 SpaceX 一部分的 xAI,认定通用框架拖了自己的后腿,因此决定让研究人员与 GPU 之间的每一层软件都由自己掌控,并把这场押注放在当前这款模型以及下一款模型上。

“我们已经弃用了 JAX/SGLang,并用 C/C++ 从头重写了整个强化学习和推理技术栈,因此多花了一些时间。”马斯克在 X 上回复一位询问 Grok 4.8 何时发布的用户时写道。JAX 是 xAI 此前用于训练的 Python 数值计算库;SGLang 则是一个面向大型语言模型的开源部署框架。他表示,预训练已经完成,此前“监督式微调(SFT)数据需要大量清理”。“现在,4.8 正在进行强化学习,评测结果开始上升。”

这番话解释了马斯克亲自拉开的时间差。9月中旬,他介绍这款模型时称,它是“一款使用我们的新 C++ 软件技术栈训练的 2.5 万亿参数模型”,并表示将“在本周完成训练并开始强化学习”。大约在同一时期,据 Analytics India Magazine 报道,他称强化学习部分“仍然是由许多不同第三方软件系统拼凑起来的遗留系统”,需要“在适当的时候”修复。到了10月下旬,他又写道:“我知道这比预期花的时间长,但 Grok 4.8 不会让人失望。”结果,修复工作本身成了延期的原因。预训练代码早已换新;在模型继续推进之前,教会模型如何行动的部分,以及负责回答用户的部分,都必须重建。

标题里所说的“C++ 重写”,实际大部分是 C。被问到使用的语言时,马斯克回答:“C 为主,带一点 C++,但不多。”他说,这套技术栈源自 SpaceX 工程师为 Starlink 编写的软件(他还补充说:“在 SpaceX,我们自己编写头文件,也自己计算时间”)。9月,他曾表示,预训练代码由 Starlink 团队编写,“不是 AI 写的”,因为“AI 还不够擅长编写极高性能的软件(但以后会做到)”。

这套做法背后的理由,春天以来就已公开。5月下旬,马斯克称 SpaceX 几乎完成了一套用 C 编写的内部训练技术栈,能够与由22万块 Nvidia GB300 芯片组成的集群“精确映射”;对于大规模训练任务,他预计其速度比 JAX“快一个数量级以上”。6月底,他承诺,等整个训练和推理技术栈重写完成、“大多数软件层将被彻底删除”之后,大约三个月内就会实现“真正巨大的提升”。按这个时间表计算,重写工作晚了大约六周。所有速度提升的说法,目前都没有经过公司外部的测量验证。

自己掌控整套技术栈有利也有弊。弃用 JAX 和 SGLang,意味着 xAI 不再受制于他人的抽象层和版本发布节奏,工程师也能让软件直接适配某一种特定硬件。代价则是,训练循环和服务路径中的每一个漏洞,如今都只能由 xAI 自己承担;而这些代码在面向用户之前,还没有经过外部社区的检验。

马斯克也在大幅调低预期。“谢天谢地,Grok 4.8 将与 4.7 毫无相似之处。”他写道,公开贬低了 xAI 于9月21日发布的那款模型。“它还谈不上出色,但这一次,基础打对了,所以我预计它会逐渐发展成特别的东西。”不到一小时后,有人问 4.8 与 Anthropic 的 Opus 5.5 相比如何,他回答:“比不上。Opus 5.5 是一件杰作。”他真正许下的承诺,指向更远的未来:“Grok 5 应该会超过 Opus 5.5,也许两三个月后就能做到。”

其他信息仍然一概缺席。根据监测相关页面的追踪工具,xAI 新闻页面和开发者文档中都没有它的条目;目前没有模型卡、基准测试结果、定价,也没有 API 列表。2.5 万亿参数这一数字只有马斯克本人提过,他所说的评测结果不断上升也是如此。Grok Bot 用户将在“本周晚些时候”收到小范围推送,但没有说明具体哪一天;马斯克10月还表示,这些请求中大多数将由“一个闪电般快速的 Grok 4.8 版本”处理。

因此,本周的推送与其说是在检验模型,不如说是在检验底层系统。如果模型经受住了真实 Grok Bot 流量的考验,这次重写就会成为训练 Grok 5 的平台;如果它出了问题,xAI 已经没有上游框架可以拿来背锅。

标签: , , , ,

在 Google 中添加我们

讨论

有 0 条评论。