Qwen3.8-27B 在 iPhone 18 Neural Engine 上以 1.5 bpw 量化达到 15–70 tok/s
Qwen3.8-27B 在 iPhone 18 Neural Engine 上以 1.5 bpw 量化实测达到 15–70 tok/s 的推理速度。结果由 anemll 在 X 上分享,帖子在 Hacker News 获得 12 个赞和 2 条评论。
推荐理由:在 iPhone 18 Neural Engine 上以 1.5 bpw 量化实测 Qwen3.8-27B,给出 15-70 tok/s 的端侧推理速度区间,可作为开发者评估同类模型本地部署性能与量化方案的参考依据。