跳到正文
  1. Hugging Face Blog77

    Liquid AI 发布 LFM3 多模态模型家族,六款 2B 级模型共享骨干

    Liquid AI 发布 LFM3 模型家族,六款 2B 级模型共享 LFM3-1.7B-Base 骨干,覆盖文本、视觉、音频、全模态和结构化决策。LFM3-1.7B 比 LFM2.5-2.6B 少 35% 参数,文本模型在 4-bit 精度下约占 1 GB并支持 256K 上下文;LFM3-Omni-2B 可接收文本、图像、视频和音频并输出文本或语音。

    推荐理由:LFM3 以同一 2B 级骨干衍生六款文本、视觉、音频、全模态与决策模型,并给出单 GPU 微调和端侧部署路径,便于评估小模型专业化方案。

  1. 钛媒体66

    科大讯飞发布讯飞星火X2.6,采用全国产算力训练端云一体架构

    科大讯飞发布讯飞星火X2.6,采用全国产算力训练,由一个云端大模型搭配4B端侧模型,并按任务难度和数据敏感度决定本地执行、两端协同或云端处理。长程任务动态并行训练使超长上下文训练效率提升约4倍,自适应存算协同结合四层KVCache和分布式推理,使推理效率提升4.5倍。4B端侧模型将复杂智能体任务完成率推至41.9%,端云路由准确率为96.1%,敏感资料可在本地关联或脱敏后再上传。

    推荐理由:端云路由、长程任务动态并行训练与存算协同给出了明确指标,呈现了国产算力受限下兼顾效率和数据本地化的实现路径。

  1. 量子位56

    炎曦动力成立 3 个月亮相 Paimon-0 具身基座模型,在 RoboColiseum 超过 GPT-6 Astra

    炎曦动力公开具身基座模型 Paimon-0,在 RoboColiseum 以 0.7754 排名第一,并超过 GPT-6 Astra。它在 RoboCasa365 和 VLA-Arena 分别以 58.1、0.73 排名第一,并以 46.599 总分夺得启元机器人 IROS Workshop 双臂机器人挑战赛冠军。

    推荐理由:文章以榜单成绩和端云协作为线索,解释 Paimon-0 的 query token 蒸馏、自我改进设计及其与机器人芯片方案的衔接。

  2. 量子位75

    港科大、CMU与岩山科技开源EdgeRock-4B,KV Cache减少99.1%且单卡吞吐达源模型6.42倍

    岩山科技旗下岩芯矩阵与港科大、CMU联合发布并开源EdgeRock-4B,256K上下文下KV Cache固定为72MiB,较源模型减少99.1%。在单张Hopper 80GB GPU、32K输入和32K输出下,模型支持512路并发,输出吞吐12124 tokens/s,是Qwen3.5-4B的6.42倍。

    推荐理由:文章拆解了EdgeRock-4B以RMA固定KV Cache的机制,并对照Qwen3.5-4B及有界状态模型的吞吐、内存与推理表现。

  1. TechCrunch58

    Block 发布可本地运行的全双工语音模型 Dessa

    Block 发布全双工语音到语音模型 Dessa,可同时听说,并能在 MacBook M4 Max 或更高配置的消费级电脑上本地运行。该模型完全基于人类语音训练,Block 称其仅用单块 NVIDIA GPU 训练,并将情绪直接纳入语音生成。模型目前尚未公开访问,Block 邀请安全研究人员测试语音智能体误导他人的风险。

    推荐理由:Dessa 的全双工语音、情绪表达与消费级设备本地运行方案交代具体,并说明暂未开放及安全测试安排,便于评估语音智能体的落地条件。

  1. 36氪57

    科大讯飞发布端云一体讯飞星火X2.6及SparkAudio 1.0

    科大讯飞发布端云一体讯飞星火X2.6,并同步推出语音基座大模型SparkAudio 1.0。云端和端侧星火X2.6-4B能力同步提升;未来60%的应用可在本地完成,30%通过云端协同,10%需要云端大模型解决。SparkAudio 1.0支持语音识别、同传、交互、音频理解、情绪识别、实时说话人分离和环境声理解。

    推荐理由:端云一体的任务分工、本地处理比例和多类语音能力,为比较模型应用的安全、效果与成本提供参考。

  1. TechCrunch62

    Recursive 发布 Flint 笔记本端编码模型,称其主要由 AI 构建

    Recursive 发布免费编码模型 Flint,可在笔记本上离线运行;公司称 Eureka Machine 参与了几乎全部开发流程。Flint 采用 MoE,每次任务激活 40B 参数中的 2.5B,并以 Apache 2.0 许可在 Hugging Face 免费下载。

    推荐理由:材料同时交代 Flint 的端侧运行、参数规模、速度、基准表现和外部试用,并标明哪些数据来自公司测试,便于比较同级编码模型。

  1. Hugging Face Blog72

    IBM Granite Speech 发布 granite-speech-5.0-2b,并更新两款现有模型

    IBM Granite Speech 发布 granite-speech-5.0-2b,并更新 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。

    推荐理由:文章按高精度翻译、端侧速度和多说话人归因区分三款模型,并给出速度与错误率变化,便于按场景比较选型。

  1. NVIDIA Blog72

    NVIDIA 开源 Nemotron 3.5 Super VL 与 Bolt 74B-A9B 24GB、Bolt E4B 4GB

    NVIDIA 发布开源 Nemotron 3.5 Super VL,并推出端侧模型 Nemotron 3.5 Bolt 74B-A9B 24GB 和 Nemotron 3.5 Bolt E4B 4GB,覆盖从企业服务器到本地及边缘设备的智能体部署。

    推荐理由:三款模型覆盖企业服务器到 4GB 端侧设备,并给出参数规模、速度、基准与部署路径,便于比较不同智能体场景的选型。

  1. Hugging Face Blog63

    LiquidAI发布端侧推理模型LFM2.5-24B-A2B,主打本地智能体

    LiquidAI发布LFM2.5-24B-A2B推理模型,采用24B参数MoE架构但每次仅激活2B,专为本地智能体设计。

    推荐理由:LiquidAI给出24B参数MoE仅激活2B的端侧推理模型,在智能体基准上对标更大模型,并附带本地部署与Agent接入示例,便于评估迁移成本。

  1. 面壁 MiniCPM42

    面壁发布 MiniCPM-V 4.7 35B-A3B:首个端侧无损推理的开源 MoE 多模态模型,附 int4 量化版

    面壁 MiniCPM-V 4.7 35B-A3B 在 Hugging Face 开源,并同步推出 int4 量化版本,被官方称为首个在端侧可流畅运行且不损失性能的开源 MoE 多模态模型。

    推荐理由:原文把 LES、细粒度分层量化和 DSpark 推测解码组合在一起作为端侧 MoE 的可迁移做法,并与 Qwen3.6 35B-A3B 直接比较效率与分数。

  2. 面壁 MiniCPM55

    面壁发布 MiniCPM-V 4.7 35B-A3B:首个开源端侧 MoE 多模态模型

    面壁发布 MiniCPM-V 4.7 35B-A3B,这是 MiniCPM-V 系列首个 MoE 多模态模型,结合 Lookahead Expert Scheduling(LES)跨层预测、层间细粒度量化和 DSpark 推测解码,在 iPhone 17 Pro Max 上以 13+ tokens/s 实现无损端侧流畅推理。

    推荐理由:原文同时给出 iPhone 17 Pro Max 上 13+ tokens/s 的实测速度与 LES 调度、层间量化和 DSpark 推测解码三项技术细节,读者可据此评估端侧 MoE 推理的可行边界。

  1. Hacker News65

    Cactus Compute 发布 16.9 MB 端侧语音识别模型 Whistle

    Cactus Compute 发布 16.9 MB 端侧语音识别模型 Whistle,在 CPU 上无依赖运行,首 token 11 ms,支持英、德、法、西、意、荷、波七语。

    推荐理由:16.9 MB 的端侧语音模型与 Needle 共用同一二进制可直接转写为工具调用,并给出与 Whisper、Moonshine 的逐项对比。

  1. 面壁 MiniCPM58

    面壁 MiniCPM-V 4.7 35B-A3B 开源,FP8 等多种量化版本同步发布

    面壁 MiniCPM-V 4.7 35B-A3B 系列模型上线,其中 FP8 量化版本已托管在 Hugging Face。

    推荐理由:原文详述了 MoE 模型在 iPhone 端侧流畅推理的工程组合并给出 13+ tokens/s 实测速度,对评估同类模型的端侧落地可行性有参考价值。

  2. Hugging Face Blog50

    Liquid AI 开源面向端侧的多模态 d1 决策模型 d1-3B 与 d1-omni-600M

    Liquid AI 开源两款 d1 系列端侧决策模型 d1-3B 与实验版 d1-omni-600M,分别支持文本+图像和文本+图像/音频输入,单次前向传播而非生成 token。

    推荐理由:d1-3B 与 d1-omni-600M 在七个公开基准和多款 Jetson 设备上的跑分被详细列出,读者可直接对照 Decider 系列判断端侧决策模型的部署价值。

  1. Google DeepMind65

    Google DeepMind 发布开源轻量多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 发布 EmbeddingGemma 2 多模态嵌入模型,740M 参数、Apache 2.0 协议,在 MTEB Code 上从 68.76 提升至 78.68。

    推荐理由:原文给出了 EmbeddingGemma 2 在子 1B 多模态嵌入基准上的表现与端侧显存占用,读者可据此评估它在本地检索管线中的取舍。

  2. 量子位70

    面壁智能开源MiniCPM-V 4.7:35B多模态MoE模型3G内存即可在iPhone断网运行

    面壁智能与OpenBMB正式开源多模态模型MiniCPM-V 4.7,包含35B-A3B(MoE,总参数35B、激活3B)与1B两个版本,其中35B-A3B在iPhone 17 Pro Max上仅占约3G内存,断网状态下解码速度可达每秒13个token以上。

    推荐理由:原文给出了35B MoE模型仅用3G内存就能在手机上运行的前瞻专家调度与量化方案,可作为端侧部署的工程参考。

已经到底了