Apple ML Research 用 MLX 在 Mac Studio 集群上分布式推理 Muse Spark Open
Apple ML Research 博客发布 MLX v0.30.1 分布式推理方案,结合 macOS 26.2 引入的 Thunderbolt 5 RDMA 驱动与新的通信集合 jaccl,可在多台 Mac Studio 上运行 816B 总参数、42B 激活参数的 MoE 模型 Muse Spark Open。
推荐理由:Apple 用 4 台 M5 Ultra Mac Studio 通过 Thunderbolt RDMA 把 816B 参数的 MoE 模型跑到 36.73 tokens/s,给本地大模型推理提供了可复现的并行方案与基准数据。