跳到正文
10月16日周五
  1. The Decoder65

    英伟达发布Nemotron 3.5 Super VL:120B参数开源多模态模型主打企业智能体

    英伟达发布开源多模态模型Nemotron 3.5 Super VL,含1200亿参数MoE架构(每token激活120亿),专为持续运行的企业AI智能体设计,同步推出两款Bolt小模型覆盖本地PC与语音助手。

    同一件事,精选收录的是《NVIDIA 开源 Nemotron 3.5 Super VL 与 Bolt 74B-A9B 24GB、Bolt E4B 4GB》

  2. NVIDIA Blog72

    NVIDIA 开源 Nemotron 3.5 Super VL 与 Bolt 74B-A9B 24GB、Bolt E4B 4GB

    NVIDIA 发布开源 Nemotron 3.5 Super VL,并推出端侧模型 Nemotron 3.5 Bolt 74B-A9B 24GB 和 Nemotron 3.5 Bolt E4B 4GB,覆盖从企业服务器到本地及边缘设备的智能体部署。

    推荐理由:三款模型覆盖企业服务器到 4GB 端侧设备,并给出参数规模、速度、基准与部署路径,便于比较不同智能体场景的选型。

10月15日周四
  1. 36氪67

    苹果AI国内采用双合作伙伴:阿里提供模型能力,百度负责Siri和视觉智能

    苹果计划今年12月通过iOS 27.3系统更新在中国推出苹果智能,首批功能为两年前在美国已发布的AI能力,覆盖iPhone、iPad和Mac,不含今年发布的全新Siri AI助手。

    推荐理由:原文展示了苹果AI在中国市场采用阿里与百度双合作伙伴的分工安排,可作为海外厂商本地化落地的参考案例。

  2. HF Daily Papers36

    多模态智能体记忆机制研究:提出两轴分析框架与三级记忆管理分类

    该论文提出一个两轴分析框架来研究多模态智能体的记忆机制:第一轴关注多模态信息的形成与表征,第二轴将记忆管理划分为三级,即 T1 静态记忆、T2 动态记忆和 T3 自演化记忆。基于该框架,作者归纳了若干设计模式,并提出在源保真度与抽象、时间有效性、可恢复证据以及记忆策略演化之间取得平衡的原则,论文最后讨论了多模态智能体记忆机制的未来方向。

    推荐理由:论文给出了两轴分析框架与三级记忆管理分类,为评估和设计多模态智能体长期记忆系统提供了可比较的参考坐标。

  3. HF Daily Papers35

    LensErase:面向任意擦除的基础模型

    LensErase 是一个 mask-based Erase Anything 基础模型,覆盖物体、视觉文本、水印、多物体移除及不同尺度、宽高比与分辨率的真实擦除场景。

    推荐理由:原文同时发布模型、1.01 亿配对样本数据集和评测基准,可作为图像擦除任务的复现起点。

  4. HF Daily Papers46

    ATAS:面向长程智能体视频生成的时空一致性框架

    ATAS 框架针对长程智能体视频生成中的跨镜头时空一致性问题,将剧本分解为带位置、镜头和事件时间标注的镜头请求,并在生成前从静态几何场景记忆和按场景/事件/时间索引的事件记忆中检索证据。

    推荐理由:原文提出可同时处理跨镜头空间一致性和事件回放的生成框架,并在多个视频生成器基座上验证了一致性提升。

  5. 阶跃 StepFun69

    阶跃星辰在 Hugging Face 发布 Step 5 Preview,主打 Agentic 工作

    阶跃星辰在 Hugging Face 发布旗舰模型 Step 5 Preview,主打 Agentic 工作。该模型为稀疏 MoE 架构,总参 600B、激活 27B,支持最高 1M 上下文,可输入文本、图像和视频,重点强化软件工程、长链路智能体执行、专业知识工作与金融任务。

    推荐理由:给出了 600B 总参 / 27B 激活的 MoE 架构与 vLLM/SGLang 并行部署参数,可据此搭出 1M 上下文推理集群。

  6. Hacker News35

    TypeSafe 发布 Jev 1.14.0,开放图像、box 类型与更长上下文实验能力

    TypeSafe 发布 Jev 1.14.0,并以 TypeSafe-Danger-Zone-* 标志开放三项实验性能力:图像多模态(可在 JSON 字段中以 find-and-replace 插入图像)、新的 box 输出类型(用于返回单个 bounding box),以及不再受现有上限约束的更长上下文。

    推荐理由:把实验性能力放在独立的 danger zone 标志下与稳定版本区分,为关心可控发布的开发者提供了一种分级启用的参考。

  7. HF Daily Papers38

    OmniXRef:支持文本、图像与视频多参考的统一视频编辑框架

    OmniXRef 提出一个统一的多模态多参考视频编辑框架,允许用户在源视频上同时叠加可变数量的文本、图像与视频参考,分别控制主体外观、相机运动等不同属性。其模型 OmniXRef-Model 采用单流扩散 Transformer,将源视频与来自 MLLM 的多模态上下文在交错序列中联合处理,并引入 R^2-RoPE 位置编码以增强对更多参考的泛化能力。

    推荐理由:原文提出统一框架同时接收文本、图像、视频三类参考来控制视频编辑,并给出专用训练数据和评测基准,对多模态可控视频生成有方法参考价值。

  8. HF Daily Papers38

    ACT3D:通过强化学习让视觉语言模型在 3D 环境中学会思考与主动探索

    ACT3D 通过强化学习训练视觉语言模型从单张第一人称视角主动探索 3D 环境,以最终答案正确性作为奖励信号,无需对探索路径做直接监督。在六个 3D 基准上平均准确率达 53.2%,相对基座 Qwen 模型提升 22.0%、超过 Gemini 3.6 Flash,输入帧数比现有开源 3D 方法少 50-70%,并在未见过的领域平均提升 5.9%。

    推荐理由:原文给出基于结果奖励的强化学习方法,让 VLM 学会在 3D 环境中自适应探索,可作为视觉问答主动感知范式的参考。

  9. HF Daily Papers41

    视觉语言模型属性-对象绑定研究:提出 SABER 基准与合成文本微调方案

    论文提出 SABER 基准,揭示 CLIP 类双编码器和 MLLM 嵌入器在多模态检索中存在广泛的属性-对象绑定失败。SABER 覆盖四种图文模态配对、最多十个对象等更复杂设置;论文还展示仅用合成属性绑定文本微调 MLLM 嵌入器(无需图像监督),即可将性能迁移到跨模态和图像-图像检索,在 SABER 上取得 SOTA,同时在否定和实例检索基准上也有提升。

    推荐理由:SABER 给出了跨四种图文配对的属性-对象绑定评测维度,并展示了不依赖图像监督的合成文本微调路径,对多模态检索相关工作有直接参考价值。

  10. HF Daily Papers40

    视觉生成能否拓展统一多模态模型的知识

    作者提出 Knowledge Transfer Probing(KTP)协议,通过图像生成训练向预训练统一多模态模型(UMM)注入新知识,再用纯文本问答测试其可访问性。

    推荐理由:论文提出 KTP 协议可控衡量视觉生成训练带来的知识迁移,给出对齐方法与可访问性差距数据,可供设计多模态训练时参考。

  11. HF Daily Papers47

    Event-STVG:面向长视频事件推理的时空视频定位基准

    Event-STVG 提出长视频事件推理的时空视频定位任务与大规模基准,将重复事件区分、事件定位、角色推断和多目标定位纳入统一评测。基准覆盖足球及另外7个领域,共标注4,016次事件出现;最强模型在10分钟跨度上的 m-vIoU 仅为5.4%,并持续混淆重复同类事件。代码与标注地址为 https://github.com/THU-KEG/Event-STVG。

    推荐理由:基准将重复事件区分、角色推断和多目标时空定位放在同一任务中,便于比较 MLLM 在长视频事件理解上的细粒度能力差异。

  12. 面壁 MiniCPM39

    面壁 MiniCPM 开源 MiniCPM-V-4.7-35B-A3B 的 DSpark 投机解码草案模型

    面壁 MiniCPM 在 Hugging Face 开源 MiniCPM-V-4.7-35B-A3B-DSpark,这是专为 MiniCPM-V-4.7-35B-A3B 配对的 DSpark 投机解码草案模型,含 5 层约 3.89 亿参数,单次前向生成 15 个 token,使用 200 万样本训练 6 轮 AdamW。

    推荐理由:DSpark 草案模型的训练配方与 vLLM、llama.cpp 的投机解码接入示例都在原文给出,为 MiniCPM-V-4.7 的推理加速提供了一个现成方案。

10月14日周三
  1. HF Daily Papers37

    Open-o3-Video-v2:以可验证时空证据进行检索、定位与推理

    Open-o3-Video-v2 将视频推理建模为统一的智能体证据获取流程,先识别缺失信息、获取额外观察,再把支持推理的时空对象定位写入轨迹后继续作答。

    推荐理由:原文提出把视频推理拆为可验证证据获取的智能体流程,并给出具体基准结果,读者可据此评估该范式在长视频任务上的实际收益。

  2. HF Daily Papers45

    VideoJev:面向视频理解与交互的System One模型

    VideoJev 提出将视频理解与交互统一为结构化决策任务的 System One 模型族,把预训练多模态大语言模型的自回归解码替换为对时间区间与文本选项打分的共享头,从而同时覆盖时序定位和多选视频问答。

    推荐理由:原文给出了统一决策接口在时序定位和视频问答上的精度增益与实测加速比,便于评估其在长视频智能体工作流中的可复用程度。

  3. HF Daily Papers43

    AesCode:基于解耦跨模态奖励的视觉化代码生成方法

    AesCode 论文提出以设计图为表示、用参考图像做美学引导的视觉化代码生成框架,结合确定性验证器与 VLM 评判的解耦跨模态奖励,通过带逐通道归一化的强化学习联合优化布局、美学与可验证正确性。

    推荐理由:原文给出设计图驱动的解耦跨模态奖励方案及相对 Qwen3-VL 的具体提升幅度,可作为视觉化代码生成方向的方法参考。

  4. HF Daily Papers37

    GUI 智能体记忆模态选择研究:SwitchMem 动态切换框架

    本文系统研究 VLM GUI 智能体中记忆模态的选择问题,发现最优记忆表示随交互步骤强烈变化;据此提出 SwitchMem 路由框架,每步动态在文本与视觉记忆之间切换,在三个 GUI 基准上优于使用静态记忆的记忆增强基线。代码与项目页见 https://txxnrd.github.io/switchmem。

    推荐理由:通过系统研究指出 GUI 智能体的最优记忆模态随交互步骤变化,并提出动态切换框架在三个基准上优于静态基线。

  5. Latent Space87

    AINews 汇总 Gemini 4 Argon 全球发布、AI Engineer NYC 与 Vals AI 评测

    Gemini 4 Argon 已全球正式上线,AINews 同时汇总了 AI Engineer NYC 现场内容和多项模型评测。Argon 面向编码、知识工作、企业流程和网络安全防御开放,入门 API 价格为每百万输入/输出 token $2/$10,缓存输入优惠 95%,Artificial Analysis 称 11 月 30 日后价格将翻倍至 $4/$20。

    推荐理由:文章把 Gemini 4 Argon 的发布信息、厂商案例与独立评测并列,读者可据此分辨模型能力、任务成本和可靠性之间的差异。

  6. 36氪28

    瑞芯微与State Labs签署战略合作协议

    近日,瑞芯微电子与State Labs在上海工博会签署战略合作协议,双方将结合瑞芯微AI芯片与State Labs端侧多模态模型能力,共同推动工业视觉智能方案规模化落地。

    推荐理由:原文给出芯片厂商与端侧多模态团队的组合方式,对关注端侧推理与工业部署的读者有参考价值。

  7. 量子位70

    面壁智能开源MiniCPM-V 4.7:35B多模态MoE模型3G内存即可在iPhone断网运行

    面壁智能与OpenBMB正式开源多模态模型MiniCPM-V 4.7,包含35B-A3B(MoE,总参数35B、激活3B)与1B两个版本,其中35B-A3B在iPhone 17 Pro Max上仅占约3G内存,断网状态下解码速度可达每秒13个token以上。

    推荐理由:原文给出了35B MoE模型仅用3G内存就能在手机上运行的前瞻专家调度与量化方案,可作为端侧部署的工程参考。

  8. HF Daily Papers37

    GAFU:利用生成侧表征提升统一多模态模型的细粒度理解

    GAFU 提出一种后训练框架,将统一多模态模型的生成侧视觉表征压缩为紧凑的 G tokens,再由理解路径按任务条件检索,以提升细粒度视觉理解。论文发现,生成侧表征对细粒度语义变化更敏感,并能捕获理解侧表征遗漏的任务相关变化。

    推荐理由:GAFU 的生成侧表征压缩与任务条件检索机制清晰,且与同数据 SFT 基线进行了跨任务、跨架构比较。

  9. HF Daily Papers43

    PrismaCoder:通过分解式评分标准合成推进开放多模态代码智能

    PrismaCoder 论文提出基于分解式评分标准的数据合成流水线 PrismaForge,并据此训练发布了 PrismaCoder-9B 与 PrismaCoder-35B 两个开源模型,在多模态代码任务上领先开源 SOTA 并接近闭源系统表现。

    推荐理由:原文提出了基于评分标准的多模态代码数据合成与强化学习流程,并开源了模型与数据集,可作为其他视觉编程任务的数据构建参考。

  10. HF Daily Papers38

    WorldCast:多模态生成世界状态预测基准

    研究团队提出面向多模态生成模型的四层能力层级,并发布包含 320 个案例、横跨 8 个类别的 WorldCast 基准,用以评估模型从多模态观察与多样化参考中预测连续未来世界状态的能力。

    推荐理由:在统一基准上量化了闭源前沿与开源模型在多步世界状态预测上的差距,方便读者对比当前能力阶段。

  11. HF Daily Papers38

    RoTA-Bench:通过交互式投影对齐评估 3D 空间推理

    RoTA-Bench 通过交互式 3D-2D 投影对齐任务,评估视觉语言模型把 2D 观察转化为精确 3D 旋转控制的能力,自动构建了 674 道题和分层 100 题测试集,并利用可逆初始化确保可解性。

    推荐理由:基准显示 GPT-5.6-Sol 仅有 17% 通过率,与人类 100% 表现存在显著差距,揭示了 2D 视觉到 3D 旋转控制的难点。

  12. HF Daily Papers44

    Intern Lumina U2:面向全视觉理解与图像生成的多码本扩散大语言模型

    Intern Lumina U2 是一种扩散语言模型,用多码本离散视觉 token 在单一骨干网络中统一图像、视频与 3D 生成及文本建模。作者报告该模型在视觉理解、图像生成与编辑上达到领先性能,并提出稳定性感知采样策略将图像生成加速 4.45 倍,代码已在 GitHub 开源。

    推荐理由:原文提出多码本扩散语言模型架构,统一文本建模与视觉生成并兼顾推理效率,可与既有统一多模态方案对照。

  13. Hacker News73

    Google 发布 Gemini 4 Argon 大模型

    Google 发布 Gemini 4 Argon 大模型,主打 1M token 输出上限、多智能体视觉循环与长任务推理能力。在 Vals Index(68.9%)、DeepSWE v1.1(77.9%)、CWE-Bench(68.0%)等基准上对标 GPT-6、Claude Opus 5.5 等模型,模型已向 Google AI Pro 与 Ultra 订阅用户开放。

    同一件事,精选收录的是《谷歌发布 Gemini 4 Argon:搭载 RSI,基准成绩领先 Opus 5.5 和 GPT-6》

10月13日周二
  1. 36氪56

    复旦系AI公司模思智能完成超10亿元Pre-A轮融资,发力情境智能

    模思智能近日完成超10亿元Pre-A轮融资,由华控基金联合领投,资金将用于全模态实时交互系统MOSS Live的研发与全球商业化落地。公司由复旦大学特聘教授邱锡鹏创办,CEO李世民介绍其目标是让AI理解物理环境中的持续信息流,从回答问题走向持续在场,未来进入眼镜、车、玩具、机器人等终端实现实时双工交互。

    推荐理由:模思智能在超10亿元融资中押注情境智能与全模态实时交互,可帮助判断多模态语音赛道目前的资本关注点与技术路径。

  2. HF Daily Papers35

    OmniCompass:面向多模态视频定位与理解的综合基准

    OmniCompass 是一个用于多模态视频定位与理解的全景评测基准,包含 OmniCompass-VL 和 OmniCompass-AV 两条评估轨道,分别针对视觉-语言与音视频联合推理,每条轨道覆盖时序定位、空间定位和问答三类任务。

    推荐理由:给出一个同时覆盖音视频与视觉-语言的多模态视频理解基准,便于系统化诊断模型的时序、空间与跨模态短板。

10月12日周一
  1. 36氪38

    影石举办智能影像黑客松,公布从AI剪辑到移动摄影师的路线

    影石在南京举办2026 Bold Maker智能影像挑战赛,首次公开移动摄影师计划,将智能影像拆分为选、拍、剪、传四个环节并由AI全程参与。已落地的产品包括多模态语音助手Kira、结合通用大模型与全景模型PanoMind的时刻Pro自动剪辑服务,以及利用3D重建的3D时光仓,影石披露Insta360+付费用户同比增长超124%。公司还表示将围绕全景视觉向研究社区开放论文、数据集和工具。

    推荐理由:从活动现场可以看清影石把AI能力嵌入拍摄链路的具体产品,以及向自主移动拍摄系统扩展的思路。

  2. HF Daily Papers37

    X-Ragent:面向胸片诊断的工具增强强化学习框架

    论文提出 X-Ragent,一种面向胸片证据推理的工具增强强化学习后训练框架,将辅助证据检索与有效性门控的定量测量解耦。方法先用 7.7K 样本的 Rad-CoT 数据集对 Qwen3-VL-8B 做智能体监督微调,再用 GRPO 结合仅对正确轨迹生效的过程级奖励做策略优化;在三个胸片基准上取得最优结果,其中完全留出的 ChestAgentBench 提升 8.6 个点。

    推荐理由:提出面向胸片诊断的工具增强强化学习框架,并给出三基准实验与 GRPO 训练流程,可作为医疗多模态智能体的方法参考。

  3. HF Daily Papers36

    VEDJE:面向可扩展视频文本检索的高效判别联合编码器

    VEDJE 用 33M 参数联合编码器在压缩缓存上做视频文本检索,在 MSR-VTT 上以约 49× 更少在线参数达到 59.8 R@1。每段视频压缩至 48 KiB,约为原始视觉特征的 1/128.5,并在匹配的首阶段检索器上额外提升 3.6–7.2 R@1。作者还引入特征变化预测目标以改善检索精度,代码与 Colab 演示已开源。

    推荐理由:用一次性视频压缩配合轻量联合编码器替代完整视频重编码,给出了可复现的开源实现和多模态检索的工程取舍。

  4. HF Daily Papers39

    AUGUstus:统一生成与理解的自动驾驶 VLA 模型

    AUGUstus 提出一种统一扩散式动作生成与自回归 CoT 理解的自动驾驶 VLA 模型,训练时 CoT 监督动作生成,推理时仅输出动作以实现低延迟。该模型在 NAVSIMv1 取得 94.6 PDMS,NAVSIMv2 取得 90.7 EPDMS,均为不使用 scorer 模块的 SOTA;在 nuScenes 上平均 L2 误差 0.27 m、平均碰撞率 0.05%。

    推荐理由:原文在自动驾驶 VLA 模型的速度与可解释性权衡下提出统一扩散动作生成与自回归 CoT 的方案,端到端规划方向可参考其训练与推理分离的思路。