技术

苹果官方认证TinyGPU,Mac Mini首次可外接Nvidia显卡跑大模型

Susan Hill

苹果公司正式签署并认证了由乔治·霍兹(George Hotz)旗下Tiny Corp开发的驱动程序TinyGPU。自2020年转向Apple Silicon芯片以来,Mac首次获得官方支持的外接GPU方案——用户无需禁用系统安全机制,即可将英伟达(Nvidia)或AMD显卡接入Mac,用于人工智能计算任务。一台699美元的Mac Mini,如今可在本地运行270亿参数的大模型。

苹果转向自研芯片后,Apple Silicon机型上的外接显卡支持实际上已完全失效。此前的尝试均需关闭macOS核心安全层”系统完整性保护”(SIP),而这一操作从未获得苹果官方认可。TinyGPU通过苹果的DriverKit框架在macOS正常安全范围内运行,只需在系统设置中启用驱动扩展,无需任何系统改动。

实测性能数据

据Tiny Corp公布的测试结果,通过雷电接口(Thunderbolt)连接AMD Radeon RX 7900 XTX的Mac Mini,可以每秒18.5个词元(token)的速度运行通义千问(Qwen)2.5 27B模型。接入外置RTX 4090时,社区基准测试显示Llama系列模型在Q4量化下可达每秒45至50个词元——这一性能水平此前需要价格高出数倍的专用AI硬件才能实现。

对于已通过Ollama或Llama.cpp将Mac Mini用作本地推理服务器的用户而言,变化立竿见影:此前因超出统一内存(Unified Memory)容量而必须分片处理的大模型,如今可完整加载至外置显卡的显存中,推理速度大幅提升。

使用限制不可忽视

TinyGPU仅面向AI计算场景。它不加速屏幕输出,不提升游戏性能,也不能替代Apple Silicon内置GPU在视频剪辑或图形处理中的作用。AMD RDNA3架构及更新型号的显卡安装流程相对简便;英伟达Ampere架构及更新型号则需额外安装Docker Desktop,对不熟悉开发环境的用户存在一定门槛。雷电4的带宽同样构成物理瓶颈——相同的显卡直接安装在PCIe插槽中,性能明显优于外接方案。

Mac Pro悄然停产,Mac Mini补位

据悉,苹果在同月未发任何公告、未推出任何后继产品,便悄然下架了Mac Pro产品页面。Mac Pro是苹果唯一的模块化台式机,也是专业用户唯一可通过自选硬件扩展算力的机型。Mac Pro停产与TinyGPU获批几乎同步发生,两者之间的关联耐人寻味。苹果给出的隐性答案似乎是:需要高强度AI算力的Mac用户,未来将通过Mac Mini外接硬件的方式获得支持,而非购置苹果自家的专业塔式机。

据Tom’s Hardware和TechRadar报道,这是苹果首次通过DriverKit机制官方认证Apple Silicon平台的第三方外置GPU计算驱动,对于向来以封闭著称的苹果硬件生态而言,具有标志性意义。

最低配置要求为macOS 12.1或更高版本、雷电3/4或USB4接口,以及安装在具备足够供电能力的eGPU外壳中的兼容显卡。TinyGPU可通过Tiny Corp官方文档及GitHub仓库获取。

讨论

有 0 条评论。