阿布扎比技术创新研究所发布 Falcon-ASR:1.6B 参数阿拉伯语语音识别模型
阿布扎比技术创新研究所(TII)发布 1.6B 参数语音识别模型 Falcon-ASR,主打阿拉伯语尤其是阿联酋方言,使用同一组模型权重还支持英语、法语、西班牙语和葡萄牙语。
推荐理由:把模型在公开榜单和内部阿联酋方言评估上的具体 WER 与 CER 数字直接列出,读者可对照已发表系统查看差距。
技术方向
AI 语音与音频:语音合成、实时语音对话、音乐生成与音频理解的模型与产品。
102 条精选近 30 天 85 条共收录 122 条
阿布扎比技术创新研究所(TII)发布 1.6B 参数语音识别模型 Falcon-ASR,主打阿拉伯语尤其是阿联酋方言,使用同一组模型权重还支持英语、法语、西班牙语和葡萄牙语。
推荐理由:把模型在公开榜单和内部阿联酋方言评估上的具体 WER 与 CER 数字直接列出,读者可对照已发表系统查看差距。
Cekura 发布 Cekura Bench,在真实电话场景中横向评测 9 款实时语音模型并公开每通电话转写与得分。测试覆盖 GPT Realtime 2.1、Gemini Live、Grok、Phonic 等模型,每款在 82 个场景上各跑 3 次,按可靠性、数据准确率、卡顿、响应时间和成本排名。
推荐理由:在真实电话场景里横向评测 9 个实时语音模型并公开全部转写与工具调用,可作为挑选语音 AI 模型时的对比参考。
SepGen 扩展预训练音视频生成器,在一次联合采样中同时输出视频、混合音轨以及按字幕逐个声源的波形,支持生成和分离两种互补模式。在给定音频混音和带台词字幕时,SepGen 在语音场景下优于语言条件分离器,且在字幕去掉台词后仍保持领先。代码、检查点与数据集已发布在 https://sepgen.github.io 。
推荐理由:SepGen 在一次采样中同时输出视频、混合音轨和各声源波形,并给出可与语言条件分离基线直接对比的语音场景实验结果。
Spotify 周三宣布将有声书服务扩展至全球 180 多个市场,覆盖欧洲、美洲、加勒比、中东、非洲和亚洲地区,面向超 7.5 亿用户开放。新市场提供 35 万余种有声书和 120 余种语言版本,Premium 用户每月可听 12 小时,也可购买 15 小时额度的 Audiobook+ 独立订阅或单本购买。
推荐理由:Spotify 将有声书覆盖扩展到 180 多个市场,可与 Audible 等专业平台比较地区覆盖、订阅设计和商业化进展。
OpenWhispr 是一款开源 AI 语音转文字工具,已推出 iOS 版本。产品页由 Joshua Padoa 10 月 6 日发布在 Product Hunt,原文未提供更多细节。
Google 官方汇总 2026 年 9 月 AI 发布动态,重点推出 Gemini 4 Argon 前沿模型(1-million-token 上下文窗口、面向网络安全防御,通过 Fairwind Program 向可信用户开放),以及 Gemini 3.8 Flash、3.8 Flash Cyber、3.8 Live、3.8 Flash TTS 等模型。
推荐理由:汇总 Gemini 4 Argon、3.8 Flash 系列、Live、TTS、Connected Apps、Project Suncatcher 等多项发布,读者可据此了解当月 Google AI 的整体动向。
Google 发布两款文本转语音模型 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS,主打高表现力语音生成,支持通过自然语言提示从零创建自定义声线。
推荐理由:原文给出了新模型的声线定制能力、基准排名和多语言覆盖,便于与前代 Gemini 3.1 Flash TTS 及竞品横向对比。
xAI 发布 Grok Voice Transcribe 2.0 语音转文字模型,官方称其在真实场景中的准确率是 1.0 版本的两倍,定价保持不变(批处理 $0.10/小时、流式 $0.20/小时)。
推荐理由:原文把新一代语音转文字模型的精度改进、公开榜单排名与定价一并给出,便于在与同类语音模型比较时直接核对数字。
Google DeepMind 发布两款语音对话模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking,分别面向规模化与成本效率、以及高复杂度任务与多步推理。
推荐理由:两款模型分别面向规模化部署与高复杂度语音推理,附带多项基准成绩与上线渠道,便于横向评估它在对话语音赛道的位置。
Google 在官方博客公布多语种 AI 最新能力:Gemini 3.5 Live Translate 支持 70 种语言、2000+ 语言对的实时语音翻译并能处理 code-switching 与情绪线索,Gemini 3.5 Transcribe 提供高精度语音转写,覆盖 55 种语言的轻量开源模型 TranslateGemma 可端侧离线运行。
推荐理由:原文汇总了 Google 在实时语音翻译、端侧模型与社区数据合作上的最新进展,读者可以据此了解不同网络条件下的可用能力。
OpenAI 在 API 中推出 GPT‑Live‑1,主打全双工语音对话,并带来更强的指令遵循、自定义语音以及电话通道支持。
推荐理由:GPT‑Live‑1 把全双工语音对话接入 API 并支持电话通道,为构建语音应用的开发者提供了一个新的模型选项。
Google 在官方 AI 月度回顾中集中公布了 2026 年 8 月的多项更新,包括面向开发者与 Agent 的 Gemini 3.7 Flash(每百万 token 价格为上一代一半)。
推荐理由:汇总了 Google 八月从 Gemini 3.7 Flash 到 Pixel 11 系列的多项发布,读者可以一次看清模型、终端、语音和开源研究的同步推进。
Open ASR Leaderboard 与 Voice Arena 上线印地语(hi-IN)与印度英语(en-IN)评测集 Monsoon,包含公开与私有四个 split、4888 名说话人,每人携带 12 项属性,用于揭示模型在不同人群上的识别差距。
推荐理由:给出基于说话人元数据拆分 ASR 评测结果的方法,能揭示区域、设备等维度上的差距,对多语言模型选型与改进方向有参考价值。
Google DeepMind 发布语音转文本模型 Gemini 3.5 Transcribe,主打实时转写与智能语音交互,提供实时流式(Live API)和预录音频(Interactions API)两种接入方式。
推荐理由:给出了 WER、延迟改善幅度和多语言覆盖等具体基准,并区分了实时与预录两种接入方式,便于评估在语音产品中的替换价值。
NVIDIA 发布多语种 TTS 模型 Magpie TTS Multilingual 新版本,开放权重,支持英语、西班牙语、法语、德语、意大利语、越南语、普通话、印地语、日语、现代标准阿拉伯语、韩语和巴西葡萄牙语共 12 种语言,参数量 364M,可在自有基础设施部署。
推荐理由:文章给出 B200 上 32ms TTFA 等具体延迟数据与帧堆叠等推理优化结构,读者可据此估算多语种语音智能体的端到端可控时延空间。
MiniMax 开源发布 Music 3 音乐生成模型,可根据歌词和音乐描述生成长达 5 分钟的 32 kHz 立体声 WAV 完整歌曲。模型采用 8B Global LLM 与 0.6B Local LLM 的分层自回归架构,Global LLM 由 Qwen3-8B 初始化,并配合 Flow Matching 与 Flow-VAE 的连续隐状态合成模块。
推荐理由:给出了 8B Global LLM 与 0.6B Local LLM 的分层架构与 Flow Matching 合成路径,便于参考音乐生成模型的工程设计。
xAI 发布语音到语音模型 Grok Voice Think Fast 2.0,AA Speech-to-Speech Quality Index 得分 82.9%,高于 GPT-Realtime-2.1 的 79.1% 和 Gemini 3.1 Flash 的 69.5%。
推荐理由:逐项给出了与 GPT-Realtime-2.1、Gemini 3.1 Flash 等模型的语音基准对比、转写在噪声环境下的优势,以及 8 月 5 日的迁移时间和 $0.08/min 定价,便于评估升级收益。
xAI 发布 21 个 Grok Voice 多语种新声音,加入原有五个声音阵容。所有新声音支持 25+ 种语言,已通过 realtime Voice Agent API、Text to Speech API 和新推出的 Grok Voice Agent Builder 开放,按客服、角色、评论、广告、教育等场景定制,支持 [pause] 和 <whisper> 等语音标签。
推荐理由:原文给出 21 个新声音的场景分类、API 接入方式及原有五声的改进幅度,可作为语音选型对比参考。
xAI 为 Grok Text to Speech 和 Voice Agent API 推出 Custom Voices 语音克隆功能,用户录制约一分钟语音即可在不到两分钟内生成生产可用的自定义语音模型。
推荐理由:原文写出了从录音到生产模型不到两分钟的克隆流程,以及通过验证短语和声纹比对的双重身份验证机制,读者可据此判断自定义语音接入的工程门槛与安全约束。
xAI 发布 Grok Voice Think Fast 1.0 语音模型并通过 API 上线,主打低延迟响应和复杂多步骤工具调用能力。该模型在 τ-voice Bench 排行榜上排名第一,支持 25+ 种语言,并已在 Starlink 客服和销售场景部署:销售线索转化率 20%,客服问题自主解决率 70%,单个智能体调用 28 个工具。
推荐理由:原文给出了 τ-voice Bench 榜首成绩和 Starlink 实际部署转化率等数据,可据此与同类语音 API 对比实际表现。