设备端级联语音智能体通过推测执行隐藏工具调用延迟
研究人员在设备端级联语音智能体中引入推测式工具执行,通过 Predictor 模块在 ASR 阶段预测工具调用并预先缓存结果,将 Android 语音助手首音频响应时间中位数从 5.79s 降至 4.60s。框架同时加入基于规则的自校正校验以过滤用户口误,并在最坏情况下由 LLM 直接调用工具兜底,最终将响应延迟标准差从 3.49s 降至 2.81s。
研究人员在设备端级联语音智能体中引入推测式工具执行,通过 Predictor 模块在 ASR 阶段预测工具调用并预先缓存结果,将 Android 语音助手首音频响应时间中位数从 5.79s 降至 4.60s。框架同时加入基于规则的自校正校验以过滤用户口误,并在最坏情况下由 LLM 直接调用工具兜底,最终将响应延迟标准差从 3.49s 降至 2.81s。
Google DeepMind 发布 EmbeddingGemma 2 多模态嵌入模型,740M 参数、Apache 2.0 协议,在 MTEB Code 上从 68.76 提升至 78.68。
推荐理由:原文给出了 EmbeddingGemma 2 在子 1B 多模态嵌入基准上的表现与端侧显存占用,读者可据此评估它在本地检索管线中的取舍。
DGX Spark 64GB 配置将于 10 月 23 日通过 Acer、ASUS、Dell、Gigabyte、HP、MSI 开售,起售价 $4,999,搭载 GB10 Grace Blackwell Superchip,可本地运行最高 100B 参数模型。
推荐理由:DGX Spark 64GB 把本地 AI 部署门槛压到 $4,999,双机集群可扩展到 200B 参数并带来约 1.7 倍性能,给本地与云端工作流的成本对比提供了一个具体参考点。
Hugging Face 发布 `@huggingface/kernels` JavaScript 加载库和首批 207 个 WebGPU 内核集合,同时上线浏览器内基准测试工具 Fleet。
推荐理由:把 WebGPU 算子做成独立仓库并附正确性与基准用例,同时公开与 ORT WebGPU 的对比数据,读者可据此评估浏览器推理的优化空间。