跳到正文
10月7日周三
  1. HF Daily Papers34

    设备端级联语音智能体通过推测执行隐藏工具调用延迟

    研究人员在设备端级联语音智能体中引入推测式工具执行,通过 Predictor 模块在 ASR 阶段预测工具调用并预先缓存结果,将 Android 语音助手首音频响应时间中位数从 5.79s 降至 4.60s。框架同时加入基于规则的自校正校验以过滤用户口误,并在最坏情况下由 LLM 直接调用工具兜底,最终将响应延迟标准差从 3.49s 降至 2.81s。

10月2日周五
  1. NVIDIA Blog52

    NVIDIA DGX Spark 64GB 配置即将上市,支持双机集群扩展至 200B 参数

    DGX Spark 64GB 配置将于 10 月 23 日通过 Acer、ASUS、Dell、Gigabyte、HP、MSI 开售,起售价 $4,999,搭载 GB10 Grace Blackwell Superchip,可本地运行最高 100B 参数模型。

    推荐理由:DGX Spark 64GB 把本地 AI 部署门槛压到 $4,999,双机集群可扩展到 200B 参数并带来约 1.7 倍性能,给本地与云端工作流的成本对比提供了一个具体参考点。

9月1日周二
  1. Hugging Face Blog68

    Hugging Face 开源 @huggingface/kernels,发布 207 个 WebGPU 内核与 Fleet 基准测试工具

    Hugging Face 发布 `@huggingface/kernels` JavaScript 加载库和首批 207 个 WebGPU 内核集合,同时上线浏览器内基准测试工具 Fleet。

    推荐理由:把 WebGPU 算子做成独立仓库并附正确性与基准用例,同时公开与 ORT WebGPU 的对比数据,读者可据此评估浏览器推理的优化空间。