跳到正文
  1. HF Daily Papers39

    AMBIT 统一一阶 Ambisonics 空间音频的生成与编辑

    AMBIT 提出统一框架,通过自回归场景规划与整流流渲染,生成并编辑一阶 Ambisonics(FOA)空间音频。共享 Transfusion 骨干以可执行 ScenePlans 描述声源内容、活动和 3D 轨迹,编辑计划覆盖需保留的声源;FOA 感知连续 VAE 维护内容与声道间结构,在策略自蒸馏则针对学生生成状态改进规划和渲染。

    推荐理由:论文将可执行场景规划、整流流渲染与在策略自蒸馏整合进统一框架,并同时验证空间音频生成和指令编辑效果。

  1. HF Daily Papers50

    Falcon:面向真实声学场景的高效流式音视频目标说话人提取

    Falcon 是一种因果音视频目标说话人提取模型,利用目标说话人的嘴部视频从噪声和重叠语音中提取其声音。模型采用单次多尺度时频分离器与编码空间说话人对比损失,相较 causal AV-TFGridNet,可训练参数减少 91.9%,计算量降低 20.2×,GPU 推理延迟降低 11.1×。

    推荐理由:论文提供真实场景基准,并报告相对 causal AV-TFGridNet 的参数、算力与延迟对比,便于评估效率取舍。

  1. HF Daily Papers35

    StyleStream 2.0:快速可控的流式语音风格转换

    StyleStream 2.0 提出快速、可控的流式语音风格转换方案,相关论文获 NeurIPS 2026 接收。系统可在保留语音内容的情况下转换参考音色,也能依据自然语言描述设计音色或定向编辑声音属性。其在消费级 GPU 上实现 520 ms 端到端延迟,并通过少步 MeanFlow 生成和自回归反馈加速推理。

    推荐理由:论文将参考音色转换、自然语言音色设计与定向编辑统一到流式框架,并给出 520 ms 端到端延迟数据。

  2. HF Daily Papers54

    Qwen-Audio-3.1-ASR 模型家族技术报告发布

    Qwen-Audio-3.1-ASR 模型家族在 Qwen-Audio-3.0-ASR 基础上改进语音识别,并扩展说话人区分转写与通用音频理解能力。该家族支持 30 种语言和 16 种中文方言;说话人区分 ASR 输出说话人标签、时间戳和识别文本,保持跨轮次说话人标签一致,并能表示重叠语音。

    推荐理由:报告将语音识别、说话人区分和通用音频理解纳入同一模型家族,并列出语言、方言及部署变体,便于对照不同任务需求。

  1. HF Daily Papers49

    Heartbeat Thinking:实时语音智能体边聆听边推测推理与执行工具

    Heartbeat Thinking 让实时语音智能体在聆听更新时持续准备工具调用,并在 FDBench v3 上将工具覆盖率提高 16 个百分点、平均最终响应延迟降低 36.4%。

    推荐理由:论文将 Heartbeat Thinking 与窗口式基线对比,并报告工具覆盖率、检索复用和响应延迟的变化。

  1. Hacker News39

    Bold Agent Kit:分析约 14,000 通来电发现人类接待员转化率约为 AI 四倍

    Bold Agent Kit 对约 14,000 通客户来电的分析显示,人类接待员在入站意向转化上比 AI 接待员高出约 4 倍。AI 接听的电话出现无进展挂断的比例比人类高出 700%,而人类接待员的漏接率比 AI 多约 15%。文章认为企业应衡量每次成功转化的成本,而不是只比较接听成本。

    推荐理由:用一手对比数据揭示 AI 接待员在接通率与转化率之间的权衡,为读者评估自动化收益提供具体参照。

  1. HF Daily Papers48

    CoSTA:通过解耦生成与合成 token 空间加速语音对话模型

    论文提出 CoSTA,通过解耦语音对话模型的生成与合成 token 空间,在保留原 tokenizer 和 decoder 的同时提升推理效率。在双语语音对话基准上,扩展语音 token 的生成速度达到约 1.7times,完整响应延迟降低、吞吐量提高,同时保持回答质量。

    推荐理由:论文将语音对话模型的生成与合成 token 空间解耦,在保持回答质量的同时呈现推理加速效果及压缩、效率与质量之间的权衡。

  1. HF Daily Papers59

    Fish Audio Drama 3 技术报告

    Fish Audio 发布开源语音生成模型 Drama 3 的技术报告,基于 35B 参数 MoE 主干(每 token 激活 3B),在单卡 H200 上以 271 fps 解码,速度高于参数量更少的前代 S2(177 fps)。

    推荐理由:原报告给出 35B 参数 MoE 语音生成模型的架构与单卡推理速度对比,读者可据此评估多轮修改与长音频流式生成的实际表现。

  1. HF Daily Papers40

    动态频带切分:面向音频源分离的端到端频带边界学习方法

    研究者提出 Dynamic Band Splitting(DBS)端到端框架,可在固定频带 token 预算下学习音频源分离中的频带切分位置,使频带边界随每个混合信号自适应调整。

    推荐理由:给出 DBS 在 BSRNN、TIGER、BS-RoFormer、MelRoFormer 上的迁移效果与具体 SI-SDR 数字,可供做频带分离的研究者直接对照改进幅度。

  1. HF Daily Papers50

    SepGen:单模型实现多音轨音视频分离与生成

    SepGen 扩展预训练音视频生成器,在一次联合采样中同时输出视频、混合音轨以及按字幕逐个声源的波形,支持生成和分离两种互补模式。在给定音频混音和带台词字幕时,SepGen 在语音场景下优于语言条件分离器,且在字幕去掉台词后仍保持领先。代码、检查点与数据集已发布在 https://sepgen.github.io 。

    推荐理由:SepGen 在一次采样中同时输出视频、混合音轨和各声源波形,并给出可与语言条件分离基线直接对比的语音场景实验结果。

  1. Hugging Face Blog53

    Open ASR Leaderboard 首次加入全球南方语言评测集

    Open ASR Leaderboard 与 Voice Arena 上线印地语(hi-IN)与印度英语(en-IN)评测集 Monsoon,包含公开与私有四个 split、4888 名说话人,每人携带 12 项属性,用于揭示模型在不同人群上的识别差距。

    推荐理由:给出基于说话人元数据拆分 ASR 评测结果的方法,能揭示区域、设备等维度上的差距,对多语言模型选型与改进方向有参考价值。

已经到底了