跳到正文
10月29日周四
  1. Hugging Face Blog41

    IBM Granite Switch 4.1.1 补丁版发布,可按软件迭代方式更新模型

    IBM Granite Switch 4.1.1 补丁版发布,完全向后兼容 4.1,升级无需迁移且不改动基础模型。更新后的 Granite Speech ASR 模型支持 10 种语言的语音转文字,并原生处理标点和大小写;Decision adapter 在 Jev Decision Index 测试集上的整体性能得到改进。

    推荐理由:补丁版无需迁移即可兼容 4.1,并更新 ASR 与 Decision adapter,呈现基础模型不重训的模块化迭代方式。

10月28日周三
  1. Hugging Face Blog80

    NVIDIA 发布 Nemotron 3.5 Transcribe 开放权重模型与 Granary v2 多语种数据管线

    NVIDIA 发布开放权重模型 Nemotron 3.5 Transcribe,并开放 Granary v2 多语种数据管线;前者集成 40 种语言转录、31 种语言与英语互译、说话人区分和英文音频问答。

    推荐理由:原文给出从提示词优化到数据构造、LoRA 微调、检查点选择和评测的完整医疗语音适配流程,可直接用于复现同类场景。

  2. NVIDIA Blog74

    NVIDIA RTX Spark Windows 笔记本开售,新增本地模型、智能体工具和游戏支持

    NVIDIA RTX Spark Windows 笔记本现已由 ASUS、Dell、HP、Lenovo、Microsoft 和 MSI 开售,起售价 $2,599,并新增或计划引入本地模型、智能体工具与游戏支持。

    推荐理由:原文将模型能力、GPU 资源分配与本地部署条件并列呈现,读者可据此判断 RTX Spark 对轻量本地 AI 工作流的适配范围。

  3. OpenAI News61

    Retell 使用 OpenAI 模型支持每月 100M 次通话

    Retell 使用 OpenAI 模型支持每月 100M 次通话,GPT-6 Astra 位居其语音智能体基准榜首。Codex 则帮助其达到每名员工 $1.6M 的年化营收。

    推荐理由:材料给出调用规模、智能体基准和人均营收三项案例数据,便于观察 OpenAI 模型在语音智能体业务中的使用结果。

  4. Google DeepMind72

    Google DeepMind 发布 Genie 4 多模态世界模型

    Google DeepMind 发布 Genie 4 世界模型,可实时生成视觉、动态交互与原生音频,并通过 Gemini 理解提示、维持场景连贯性。Gemini 3.8 Flash 作为引导智能体分解目标、检查画面并动态调整计划,支持多步骤事件与因果行为模拟。

    推荐理由:官方披露了 Genie 4 的实时交互、原生音频与 Gemini 引导机制,并明确列出预览范围和当前局限,便于评估其可用边界。

10月26日周一
  1. 量子位47

    联想天禧AI在观猹大会展示跨端协同,预告4.5版本升级

    联想天禧AI在观猹大会展示个人AI跨端协同,4.5版本定于10月30日升级。现场演示中,用户可通过天禧AI手机语音搜集Personal Agent产品并自动生成研究报告,也能关闭系统弹窗、调高屏幕亮度。4.5版本将进一步强化记忆管理与数据隔离,现有版本则基于Harness架构,支持联网搜索、生图修图、本地文件控制、文档生成及外部MCP Server接入。

    推荐理由:现场演示具体呈现了手机语音触发研究报告与设备控制的跨端流程,也补充了天禧AI 4.5版本的记忆与数据隔离方向。

  2. 量子位47

    OpenAI 与 Gemini 共同选择的实时语音交互,为什么是声网?

    声网在 iRTE2026 展示了生成式 AI 的实时交互基础设施,覆盖模型协作、全双工语音、实时网络、音频处理、工具调用与推理。Agora Conversational Model 组合声音感知、推理、工具、记忆与语音表达,Conversational Agent System 将其与全球实时网络、音频处理及推理基础设施结合。

    推荐理由:文章沿着模型、网络、音频和终端梳理实时语音交互链路,便于理解声网多模型协作方案与配套工具如何落地。

10月25日周日
  1. HF Daily Papers39

    AMBIT 统一一阶 Ambisonics 空间音频的生成与编辑

    AMBIT 提出统一框架,通过自回归场景规划与整流流渲染,生成并编辑一阶 Ambisonics(FOA)空间音频。共享 Transfusion 骨干以可执行 ScenePlans 描述声源内容、活动和 3D 轨迹,编辑计划覆盖需保留的声源;FOA 感知连续 VAE 维护内容与声道间结构,在策略自蒸馏则针对学生生成状态改进规划和渲染。

    推荐理由:论文将可执行场景规划、整流流渲染与在策略自蒸馏整合进统一框架,并同时验证空间音频生成和指令编辑效果。

10月24日周六
  1. 量子位40

    iRTE2026:声网CEO赵斌提出五级对话能力框架

    声网CEO赵斌在iRTE2026提出五级对话能力框架,把对话式 AI 从单轮应答一路拓展至基于深度关系的沟通。L1至L5分别覆盖自身视角表达、互动规律、个体认知、群体认知与深度关系,赵斌称实时互动基础设施还需支撑低延迟、稳定交互、上下文理解与任务执行。

    推荐理由:赵斌的五级框架把对话能力从单轮应答延伸到关系理解,圆桌则补充 Agent、穿戴设备和业务交付视角,为梳理对话式 AI 的演进方向提供具体参照。

  2. 量子位66

    科大讯飞首发星辰TaaS平台,构建模型到行业解决方案的全链路

    科大讯飞首发星辰TaaS平台,以星辰MaaS为底层,通过模型调度、智能体引擎、知识工程和工具编排连接模型能力与行业应用。平台覆盖同传翻译、数字员工、办公提效、知识问答、智能营销等场景,并面向企业服务、金融、医疗、教育、能源等行业提供产品与解决方案。平台提出将 Token 消耗嵌入真实业务流程,让每次 Token 调用推动业务任务完成。

    推荐理由:星辰TaaS把模型调度、智能体引擎、知识工程与工具编排串成全链路,并给出金融、医疗等行业落地方向。

10月23日周五
  1. HF Daily Papers50

    Falcon:面向真实声学场景的高效流式音视频目标说话人提取

    Falcon 是一种因果音视频目标说话人提取模型,利用目标说话人的嘴部视频从噪声和重叠语音中提取其声音。模型采用单次多尺度时频分离器与编码空间说话人对比损失,相较 causal AV-TFGridNet,可训练参数减少 91.9%,计算量降低 20.2×,GPU 推理延迟降低 11.1×。

    推荐理由:论文提供真实场景基准,并报告相对 causal AV-TFGridNet 的参数、算力与延迟对比,便于评估效率取舍。

  2. AWS Machine Learning Blog74

    Amazon Polly Generative engine 正式升级,新增 14 个声音且无需修改现有代码

    Amazon Polly Generative engine 已正式升级,在声音名称和 API 调用不变的前提下提升语音自然度、表现力与准确性。此次新增 14 个声音,覆盖 9 个语言区域;生成式声音总数达到 57 个,涵盖 11 种语言和 25 个语言区域,印地语与芬兰语生成式声音首次正式可用。

    推荐理由:现有应用无需修改代码、声音名称或 API 调用即可获得更自然的输出,便于评估生成式语音升级的迁移成本。

  3. AWS Machine Learning Blog67

    如何用实测设置 Amazon SageMaker AI 上 Kokoro-82M 的 TTS 自动扩缩容

    AWS 教程在 Amazon SageMaker AI 上部署 Kokoro-82M,并用 Q_max 与 T_total 两项实测配置 TTS 自动扩缩容。在 3,000 ms p95 TTFAB SLO 下,Q_max=50;纯扩容实测耗时 260.2 秒,另计入由策略配置限定的 60.0 秒检测延迟,规划值为 320.2 秒。

    推荐理由:文章把TTS自动扩缩容拆成Q_max与T_total两项实测,并用它们推导阈值和冷却时间,方法可迁移到其他延迟敏感端点。

10月22日周四
  1. 腾讯混元69

    腾讯混元发布 Hy-SimulMT 中英双向实时同声传译模型

    腾讯混元发布 Hy-SimulMT,提供中英双向语音到语音实时同声传译,并支持在配置 TTS 后进行实时声音克隆,保留说话者声音特征。模型持续接收音频并同步输出译文文本与语音,面向会议、演讲和访谈等实时沟通场景。

    推荐理由:材料给出 RealSI 等基准、与职业译员的小规模对比及完整部署路径,读者可据此判断模型在实时翻译场景中的质量、延迟与可操作性。

10月21日周三
  1. MIT Technology Review40

    AI 助力解码动物交流,跨物种翻译仍受多重限制

    机器学习已被用于识别动物叫声、区分发声个体并发现模式,但跨物种通信翻译仍处于早期探索。Earth Species Project 的 NatureLM 使用人类语音、音乐和动物声音训练,目标是解释多种物种的发声。研究者同时指出,LLM 可能因偏重声学相似性而误判不同含义,多模态信号和缺少多物种共同参照也让准确翻译与双向交流难以实现。

    推荐理由:文章说明AI已能识别和归类动物叫声,但跨物种信号差异、感知范围与缺少共同参照仍会妨碍准确翻译。

10月20日周二
  1. HF Daily Papers35

    StyleStream 2.0:快速可控的流式语音风格转换

    StyleStream 2.0 提出快速、可控的流式语音风格转换方案,相关论文获 NeurIPS 2026 接收。系统可在保留语音内容的情况下转换参考音色,也能依据自然语言描述设计音色或定向编辑声音属性。其在消费级 GPU 上实现 520 ms 端到端延迟,并通过少步 MeanFlow 生成和自回归反馈加速推理。

    推荐理由:论文将参考音色转换、自然语言音色设计与定向编辑统一到流式框架,并给出 520 ms 端到端延迟数据。

  2. HF Daily Papers54

    Qwen-Audio-3.1-ASR 模型家族技术报告发布

    Qwen-Audio-3.1-ASR 模型家族在 Qwen-Audio-3.0-ASR 基础上改进语音识别,并扩展说话人区分转写与通用音频理解能力。该家族支持 30 种语言和 16 种中文方言;说话人区分 ASR 输出说话人标签、时间戳和识别文本,保持跨轮次说话人标签一致,并能表示重叠语音。

    推荐理由:报告将语音识别、说话人区分和通用音频理解纳入同一模型家族,并列出语言、方言及部署变体,便于对照不同任务需求。

  3. AWS Machine Learning Blog38

    Deepgram 如何借助 AWS Trainium 规模化优化语音 AI 推理

    Deepgram 与 AWS Forward Deployed Engineering 团队合作,将 Nova-3 语音转文字模型移植到 AWS Trainium2,在离线批量任务上每美元可处理的音频量较此前方案提升 11–70%。

    推荐理由:完整记录 Nova-3 移植到 Trainium2 的工程步骤与吞吐成本收益,可作为同类语音模型推理优化的实操参照。

10月19日周一
10月16日周五
  1. Hugging Face Blog55

    IBM Granite Switch 4.1 发布,把对话、决策与语音识别统一到同一端点

    IBM Granite 团队发布 Granite Switch 4.1 的 8B 与 30B 模型,把对话、通用与安全决策以及语音识别合并到同一端点,整体显存占用与基座模型接近。

    推荐理由:文章介绍了 Granite Switch 4.1 如何用 aLoRA 把对话、决策与语音识别合并到单一端点,并给出与 Jev 等模型的推理速度对比,读者可据此评估这种组合架构的实际收益。

10月15日周四
  1. HF Daily Papers48

    CoSTA:通过解耦生成与合成 token 空间加速语音对话模型

    论文提出 CoSTA,通过解耦语音对话模型的生成与合成 token 空间,在保留原 tokenizer 和 decoder 的同时提升推理效率。在双语语音对话基准上,扩展语音 token 的生成速度达到约 1.7times,完整响应延迟降低、吞吐量提高,同时保持回答质量。

    推荐理由:论文将语音对话模型的生成与合成 token 空间解耦,在保持回答质量的同时呈现推理加速效果及压缩、效率与质量之间的权衡。

10月14日周三
  1. HF Daily Papers59

    Fish Audio Drama 3 技术报告

    Fish Audio 发布开源语音生成模型 Drama 3 的技术报告,基于 35B 参数 MoE 主干(每 token 激活 3B),在单卡 H200 上以 271 fps 解码,速度高于参数量更少的前代 S2(177 fps)。

    推荐理由:原报告给出 35B 参数 MoE 语音生成模型的架构与单卡推理速度对比,读者可据此评估多轮修改与长音频流式生成的实际表现。

  2. OpenAI News43

    Higgsfield 借助 GPT-6 Astra 将 AI 视频时长从 1 分钟提升到 10 分钟以上

    Higgsfield 借助 GPT-6 Astra 将 AI 视频生成时长从 1 分钟提升到 10 分钟以上,同时接入 GPT-Image-2.5 提升画面精度,并探索 GPT-Live 在语音电影制作方向的应用。

    推荐理由:原文给出视频时长从 1 分钟延长到 10 分钟以上的具体幅度,并提及语音电影制作方向,读者可据此评估生成能力的边界。

10月10日周六
  1. HF Daily Papers40

    动态频带切分:面向音频源分离的端到端频带边界学习方法

    研究者提出 Dynamic Band Splitting(DBS)端到端框架,可在固定频带 token 预算下学习音频源分离中的频带切分位置,使频带边界随每个混合信号自适应调整。

    推荐理由:给出 DBS 在 BSRNN、TIGER、BS-RoFormer、MelRoFormer 上的迁移效果与具体 SI-SDR 数字,可供做频带分离的研究者直接对照改进幅度。

10月8日周四
  1. Hugging Face Blog49

    阿布扎比技术创新研究所发布 Falcon-ASR:1.6B 参数阿拉伯语语音识别模型

    阿布扎比技术创新研究所(TII)发布 1.6B 参数语音识别模型 Falcon-ASR,主打阿拉伯语尤其是阿联酋方言,使用同一组模型权重还支持英语、法语、西班牙语和葡萄牙语。

    推荐理由:把模型在公开榜单和内部阿联酋方言评估上的具体 WER 与 CER 数字直接列出,读者可对照已发表系统查看差距。

  2. HF Daily Papers50

    SepGen:单模型实现多音轨音视频分离与生成

    SepGen 扩展预训练音视频生成器,在一次联合采样中同时输出视频、混合音轨以及按字幕逐个声源的波形,支持生成和分离两种互补模式。在给定音频混音和带台词字幕时,SepGen 在语音场景下优于语言条件分离器,且在字幕去掉台词后仍保持领先。代码、检查点与数据集已发布在 https://sepgen.github.io 。

    推荐理由:SepGen 在一次采样中同时输出视频、混合音轨和各声源波形,并给出可与语言条件分离基线直接对比的语音场景实验结果。

10月7日周三
  1. HF Daily Papers34

    设备端级联语音智能体通过推测执行隐藏工具调用延迟

    研究人员在设备端级联语音智能体中引入推测式工具执行,通过 Predictor 模块在 ASR 阶段预测工具调用并预先缓存结果,将 Android 语音助手首音频响应时间中位数从 5.79s 降至 4.60s。框架同时加入基于规则的自校正校验以过滤用户口误,并在最坏情况下由 LLM 直接调用工具兜底,最终将响应延迟标准差从 3.49s 降至 2.81s。

10月2日周五
  1. Google AI Blog41

    Google 公布 2026 年 9 月 AI 更新:涵盖 Gemini 4 Argon、3.8 Flash、WeatherNext 3 等多项发布

    Google 官方汇总 2026 年 9 月 AI 发布动态,重点推出 Gemini 4 Argon 前沿模型(1-million-token 上下文窗口、面向网络安全防御,通过 Fairwind Program 向可信用户开放),以及 Gemini 3.8 Flash、3.8 Flash Cyber、3.8 Live、3.8 Flash TTS 等模型。

    推荐理由:汇总 Gemini 4 Argon、3.8 Flash 系列、Live、TTS、Connected Apps、Project Suncatcher 等多项发布,读者可据此了解当月 Google AI 的整体动向。

9月30日周三
9月23日周三
  1. Google DeepMind66

    Google 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS,支持自然语言创建自定义声线

    Google 发布两款文本转语音模型 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS,主打高表现力语音生成,支持通过自然语言提示从零创建自定义声线。

    推荐理由:原文给出了新模型的声线定制能力、基准排名和多语言覆盖,便于与前代 Gemini 3.1 Flash TTS 及竞品横向对比。

9月18日周五
  1. xAI News55

    xAI 发布 Grok Voice Transcribe 2.0 语音转文字模型

    xAI 发布 Grok Voice Transcribe 2.0 语音转文字模型,官方称其在真实场景中的准确率是 1.0 版本的两倍,定价保持不变(批处理 $0.10/小时、流式 $0.20/小时)。

    推荐理由:原文把新一代语音转文字模型的精度改进、公开榜单排名与定价一并给出,便于在与同类语音模型比较时直接核对数字。

9月16日周三
  1. Google DeepMind70

    Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking

    Google DeepMind 发布两款语音对话模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking,分别面向规模化与成本效率、以及高复杂度任务与多步推理。

    推荐理由:两款模型分别面向规模化部署与高复杂度语音推理,附带多项基准成绩与上线渠道,便于横向评估它在对话语音赛道的位置。

  2. Google AI Blog51

    Google 公布 Gemini 3.5 Live Translate 等多语种语音 AI 与社区数据计划

    Google 在官方博客公布多语种 AI 最新能力:Gemini 3.5 Live Translate 支持 70 种语言、2000+ 语言对的实时语音翻译并能处理 code-switching 与情绪线索,Gemini 3.5 Transcribe 提供高精度语音转写,覆盖 55 种语言的轻量开源模型 TranslateGemma 可端侧离线运行。

    推荐理由:原文汇总了 Google 在实时语音翻译、端侧模型与社区数据合作上的最新进展,读者可以据此了解不同网络条件下的可用能力。

9月10日周四