跳到正文
10月14日周三
  1. 量子位70

    面壁智能开源MiniCPM-V 4.7:35B多模态MoE模型3G内存即可在iPhone断网运行

    面壁智能与OpenBMB正式开源多模态模型MiniCPM-V 4.7,包含35B-A3B(MoE,总参数35B、激活3B)与1B两个版本,其中35B-A3B在iPhone 17 Pro Max上仅占约3G内存,断网状态下解码速度可达每秒13个token以上。

    推荐理由:原文给出了35B MoE模型仅用3G内存就能在手机上运行的前瞻专家调度与量化方案,可作为端侧部署的工程参考。

  2. HF Daily Papers37

    GAFU:利用生成侧表征提升统一多模态模型的细粒度理解

    GAFU 提出一种后训练框架,将统一多模态模型的生成侧视觉表征压缩为紧凑的 G tokens,再由理解路径按任务条件检索,以提升细粒度视觉理解。论文发现,生成侧表征对细粒度语义变化更敏感,并能捕获理解侧表征遗漏的任务相关变化。

    推荐理由:GAFU 的生成侧表征压缩与任务条件检索机制清晰,且与同数据 SFT 基线进行了跨任务、跨架构比较。

  3. HF Daily Papers43

    PrismaCoder:通过分解式评分标准合成推进开放多模态代码智能

    PrismaCoder 论文提出基于分解式评分标准的数据合成流水线 PrismaForge,并据此训练发布了 PrismaCoder-9B 与 PrismaCoder-35B 两个开源模型,在多模态代码任务上领先开源 SOTA 并接近闭源系统表现。

    推荐理由:原文提出了基于评分标准的多模态代码数据合成与强化学习流程,并开源了模型与数据集,可作为其他视觉编程任务的数据构建参考。

  4. HF Daily Papers38

    WorldCast:多模态生成世界状态预测基准

    研究团队提出面向多模态生成模型的四层能力层级,并发布包含 320 个案例、横跨 8 个类别的 WorldCast 基准,用以评估模型从多模态观察与多样化参考中预测连续未来世界状态的能力。

    推荐理由:在统一基准上量化了闭源前沿与开源模型在多步世界状态预测上的差距,方便读者对比当前能力阶段。

  5. HF Daily Papers38

    RoTA-Bench:通过交互式投影对齐评估 3D 空间推理

    RoTA-Bench 通过交互式 3D-2D 投影对齐任务,评估视觉语言模型把 2D 观察转化为精确 3D 旋转控制的能力,自动构建了 674 道题和分层 100 题测试集,并利用可逆初始化确保可解性。

    推荐理由:基准显示 GPT-5.6-Sol 仅有 17% 通过率,与人类 100% 表现存在显著差距,揭示了 2D 视觉到 3D 旋转控制的难点。

  6. HF Daily Papers44

    Intern Lumina U2:面向全视觉理解与图像生成的多码本扩散大语言模型

    Intern Lumina U2 是一种扩散语言模型,用多码本离散视觉 token 在单一骨干网络中统一图像、视频与 3D 生成及文本建模。作者报告该模型在视觉理解、图像生成与编辑上达到领先性能,并提出稳定性感知采样策略将图像生成加速 4.45 倍,代码已在 GitHub 开源。

    推荐理由:原文提出多码本扩散语言模型架构,统一文本建模与视觉生成并兼顾推理效率,可与既有统一多模态方案对照。

10月13日周二
  1. HF Daily Papers35

    OmniCompass:面向多模态视频定位与理解的综合基准

    OmniCompass 是一个用于多模态视频定位与理解的全景评测基准,包含 OmniCompass-VL 和 OmniCompass-AV 两条评估轨道,分别针对视觉-语言与音视频联合推理,每条轨道覆盖时序定位、空间定位和问答三类任务。

    推荐理由:给出一个同时覆盖音视频与视觉-语言的多模态视频理解基准,便于系统化诊断模型的时序、空间与跨模态短板。

10月12日周一
  1. HF Daily Papers37

    X-Ragent:面向胸片诊断的工具增强强化学习框架

    论文提出 X-Ragent,一种面向胸片证据推理的工具增强强化学习后训练框架,将辅助证据检索与有效性门控的定量测量解耦。方法先用 7.7K 样本的 Rad-CoT 数据集对 Qwen3-VL-8B 做智能体监督微调,再用 GRPO 结合仅对正确轨迹生效的过程级奖励做策略优化;在三个胸片基准上取得最优结果,其中完全留出的 ChestAgentBench 提升 8.6 个点。

    推荐理由:提出面向胸片诊断的工具增强强化学习框架,并给出三基准实验与 GRPO 训练流程,可作为医疗多模态智能体的方法参考。

  2. HF Daily Papers36

    VEDJE:面向可扩展视频文本检索的高效判别联合编码器

    VEDJE 用 33M 参数联合编码器在压缩缓存上做视频文本检索,在 MSR-VTT 上以约 49× 更少在线参数达到 59.8 R@1。每段视频压缩至 48 KiB,约为原始视觉特征的 1/128.5,并在匹配的首阶段检索器上额外提升 3.6–7.2 R@1。作者还引入特征变化预测目标以改善检索精度,代码与 Colab 演示已开源。

    推荐理由:用一次性视频压缩配合轻量联合编码器替代完整视频重编码,给出了可复现的开源实现和多模态检索的工程取舍。

  3. HF Daily Papers39

    AUGUstus:统一生成与理解的自动驾驶 VLA 模型

    AUGUstus 提出一种统一扩散式动作生成与自回归 CoT 理解的自动驾驶 VLA 模型,训练时 CoT 监督动作生成,推理时仅输出动作以实现低延迟。该模型在 NAVSIMv1 取得 94.6 PDMS,NAVSIMv2 取得 90.7 EPDMS,均为不使用 scorer 模块的 SOTA;在 nuScenes 上平均 L2 误差 0.27 m、平均碰撞率 0.05%。

    推荐理由:原文在自动驾驶 VLA 模型的速度与可解释性权衡下提出统一扩散动作生成与自回归 CoT 的方案,端到端规划方向可参考其训练与推理分离的思路。

10月11日周日
  1. 量子位55

    何恺明团队提出VISTA:面向交互推理的视觉原生Harness框架

    何恺明团队发布论文《VISTA》,提出面向交互推理的视觉原生Harness框架,让现有多模态模型直接观察环境、保存原始画面,并在推理时按需回看。框架包含视觉观测、无损视觉记忆和主动视觉检查三个组件,无需额外训练基础模型。

    推荐理由:原文给出了视觉原生Harness的三个组件设计与多基准成绩,读者可据此对比它与传统文本式Harness在交互推理上的差异。

  2. HF Daily Papers59

    Apertus 1.5:从开放文本模型到开放多模态推理模型

    瑞士 AI 团队发布 Apertus 1.5,将开源 Apertus 系列从纯文本扩展到多模态推理。8B 与 70B 模型分别用 4T 和 2T tokens 继续预训练,加入图像和音频理解,上下文窗口扩至 262,144 tokens;多模态通过 tokenizer 引入,语言模型 head 仍限于文本,训练流程包含 SFT、长上下文微调、RLVR 和偏好对齐。

    推荐理由:公开了从纯文本扩展到多模态推理的完整训练方案与数据合规实践,可作为开源多模态模型的构建参考。

10月10日周六
  1. HF Daily Papers45

    EviScene 把图像评估从是否 AI 生成推进到场景事实性判定

    研究团队提出 Image Factuality Assessment 任务,目标是对一张图像判定其描绘的情景是否被外部证据支持,并发布 EviLens 基准(10,174 张图像,覆盖 12 类事实错误)与 EviScene 多模态 ReAct 智能体。

    推荐理由:原文把图像判别从是否 AI 生成推进到画面事实是否成立,给出基准和一个可直接复用的多模态 ReAct 智能体。

  2. HF Daily Papers40

    哪些对比学习策略真正有效:通用多模态嵌入的受控研究

    这篇论文在 MMEB 基准上系统评估了多模态嵌入对比学习的多种负样本选择、批次构建与梯度调节策略,发现多数现有策略相比标准对齐基线增益有限,部分甚至会降低整体性能。

    推荐理由:论文在统一框架下复现并对比了多种对比学习策略,揭示出多数策略增益有限,并给出三条失败模式与可迁移的训练组合方案。

  3. 面壁 MiniCPM42

    面壁发布 MiniCPM-V 4.7 35B-A3B:首个端侧无损推理的开源 MoE 多模态模型,附 int4 量化版

    面壁 MiniCPM-V 4.7 35B-A3B 在 Hugging Face 开源,并同步推出 int4 量化版本,被官方称为首个在端侧可流畅运行且不损失性能的开源 MoE 多模态模型。

    推荐理由:原文把 LES、细粒度分层量化和 DSpark 推测解码组合在一起作为端侧 MoE 的可迁移做法,并与 Qwen3.6 35B-A3B 直接比较效率与分数。

  4. 面壁 MiniCPM55

    面壁发布 MiniCPM-V 4.7 35B-A3B:首个开源端侧 MoE 多模态模型

    面壁发布 MiniCPM-V 4.7 35B-A3B,这是 MiniCPM-V 系列首个 MoE 多模态模型,结合 Lookahead Expert Scheduling(LES)跨层预测、层间细粒度量化和 DSpark 推测解码,在 iPhone 17 Pro Max 上以 13+ tokens/s 实现无损端侧流畅推理。

    推荐理由:原文同时给出 iPhone 17 Pro Max 上 13+ tokens/s 的实测速度与 LES 调度、层间量化和 DSpark 推测解码三项技术细节,读者可据此评估端侧 MoE 推理的可行边界。

10月9日周五
  1. HF Daily Papers37

    OmniCapBench 面向细粒度音视频字幕的多层级诊断评测基准

    研究团队发布音视频字幕评测基准 OmniCapBench,把预测目标从自由文本改为可验证的原子单元,覆盖实体指代、视觉镜头和音频事件三条轨道。基准包含 786 个密集标注视频,通过确定性约束检查和局部语义对比定位 MLLM 在时间对齐、身份漂移、跨模态错位和幻觉描述上的具体错误。评测前沿 MLLM 显示其局部感知较强,但长程音视频推理明显偏弱,尤其在身份漂移和跨模态错位上问题突出。

    推荐理由:该基准把音视频字幕评估拆成三条可验证轨道,能精确定位 MLLM 的具体感知错误,为全模态模型的改进提供可迁移的诊断路径。

  2. HF Daily Papers40

    推理驱动视觉编辑:RISEBench++ 基准与 RISE-Agent

    论文提出 RISEBench 与升级版 RISEBench++,面向推理驱动的视觉编辑任务,并发布训练免费的智能体框架 RISE-Agent。RISEBench++ 拆出六类推理维度共 65 个细粒度任务类型,包含 1000 条英中人工标注样本;评测 58 种编辑方法后,最强的 GPT-Image-2.5 Sunburst 也仅取得 56.6% 准确率。

    推荐理由:RISEBench++ 把视觉编辑任务拆成六类推理维度并评测 58 个方法,最强模型仅有 56.6% 准确率,为推理型视觉编辑的能力差距给出可复用的基准。

  3. HF Daily Papers45

    S-Space:剖析多模态语言模型内部空间表征子空间

    本文在多模态语言模型中发现一个名为 S-Space 的线性表征子空间,其物体 token 表征会沿水平、垂直和距离轴编码连续坐标,并随非空间问题也保持可读。研究表明 S-Space 是模型内部的空间工作区,可被感知写入、内部推理转换,并在语言回答时被选择性读取。作者进一步把它用作空间推理失败的诊断工具,指出模型虽能形成合格的空间表征,但在跨视角变换所需的空间推理上存在关键瓶颈。

    推荐理由:提供把多模态语言模型空间表征拆成可读子空间的方法,能用来诊断空间推理失败并定位瓶颈。

  4. 腾讯混元67

    腾讯优图实验室开源 5B 全模态解析模型 Youtu-Parsing-Omni

    腾讯优图实验室开源 5B 参数的全模态解析模型 Youtu-Parsing-Omni,统一处理文档页、自然图像、图表、流程图、几何图、音频与音视频,并按任务提示统一输出 JSON。

    推荐理由:5B 全模态解析模型在 OmniDocBench 居首、OmniParsingBench 仅次 Gemini-3-Pro,是评估小尺寸多模态模型能力上限的参考。

  5. HF Daily Papers43

    MiMo-V2.6:扩展强化学习算力推动模型自我提升

    MiMo-V2.6 是一个面向自我提升的全模态模型系列,沿三条维度扩展强化学习算力:在最长 1M 上下文下,每步处理 1,568 样本、2.7-3.7B token 的异步训练;覆盖代码、通用、视觉和赛博领域的智能体环境;以及通过分组智能体评分提供更长链任务奖励信号。为稳定训练,论文还冻结 MoE 路由器并建立多层防奖励作弊机制,并开源训练动态、RL 环境和 RL 框架。

    推荐理由:报告给出了训练算力、采样与环境三维度扩展的具体数字与稳定策略,并开源训练动态与框架,可作为大规模 RL 训练的参考路径。

  6. HF Daily Papers34

    SpatialASM:为 LVLM 引入主动空间心智化提升空间推理能力

    SpatialASM 提出主动空间心智化(ASM)训练框架,让 LVLM 从被动观察图像转为主动规划视角并在内部重建缺失的空间证据,推理时无需额外视图或渲染器。该方法借助 allocentric 新视角生成器合成可验证的"规划—想象—推理"轨迹,在四个 LVLM 主干与七个空间基准上提升了空间推理能力,同时保持通用视觉能力。

  7. HF Daily Papers46

    面向 GUI 智能体的潜在世界动作模型

    论文提出面向 GUI 智能体的潜在世界动作模型,把世界模型预测目标从像素空间全屏重建转向潜在空间中的动作诱导未来信息,并通过动作感知对比损失缓解 identity shortcut。

    推荐理由:论文把 GUI 世界模型预测从像素重建改为潜在空间表示,给出相对像素基线的成功率与延迟提升,并随附开源代码。

10月8日周四
  1. HF Daily Papers48

    论文提出 HSS 基准评估多模态模型的直观视觉推理能力

    论文提出 Humanity's Sixth Sense(HSS)基准,用于评估多模态大语言模型的直观视觉推理能力。HSS 覆盖图像与视频输入,按直觉性的时间、空间、社交和抽象结构组织题目,人类受试者准确率达 93.1%,而最强模型 GPT-6-astra 在最大推理强度下仅 53.6%;引入动态视觉操作的智能体设置能缩小差距,但仍未弥合人与模型之间的鸿沟。

    推荐理由:论文提出直观视觉推理这一评测轴,人类准确率 93.1% 而最强模型仅 53.6%,为多模态模型的差距对比提供了可量化的标尺。

  2. HF Daily Papers32

    Pumpire:面向度量距离估计的统一基准

    研究者提出 Pumpire 统一基准,用于评估 3D 基础模型在图像与视频层级上的逐点度量距离估计能力,覆盖有无深度先验两种场景。团队构建了包含 100 个真实场景、每场景 64 帧共计 6,400 帧的数据集 pumpire-6k,并为每帧标注物理实测的点对距离。论文在 29 种代表性 3D 基础模型配置上展开实验,直接衡量重建几何中的点对距离误差。

  3. HF Daily Papers50

    SepGen:单模型实现多音轨音视频分离与生成

    SepGen 扩展预训练音视频生成器,在一次联合采样中同时输出视频、混合音轨以及按字幕逐个声源的波形,支持生成和分离两种互补模式。在给定音频混音和带台词字幕时,SepGen 在语音场景下优于语言条件分离器,且在字幕去掉台词后仍保持领先。代码、检查点与数据集已发布在 https://sepgen.github.io 。

    推荐理由:SepGen 在一次采样中同时输出视频、混合音轨和各声源波形,并给出可与语言条件分离基线直接对比的语音场景实验结果。

  4. HF Daily Papers36

    DataVista:面向多模态大模型的数据视频理解评测基准

    研究团队发布 DataVista 基准,包含 961 个真实数据视频和 6775 道评估题,按数据感知、时序推理、叙事理解三层能力框架、10 类细粒度问题与 5 个主题领域组织,用于系统评测多模态大模型的数据视频理解能力。

    推荐理由:原文提出数据视频理解新基准,并系统对比 19 个主流多模态模型在感知、推理、叙事三层能力上的差距。

  5. Hugging Face Blog50

    Liquid AI 开源面向端侧的多模态 d1 决策模型 d1-3B 与 d1-omni-600M

    Liquid AI 开源两款 d1 系列端侧决策模型 d1-3B 与实验版 d1-omni-600M,分别支持文本+图像和文本+图像/音频输入,单次前向传播而非生成 token。

    推荐理由:d1-3B 与 d1-omni-600M 在七个公开基准和多款 Jetson 设备上的跑分被详细列出,读者可直接对照 Decider 系列判断端侧决策模型的部署价值。

10月7日周三
10月6日周二
  1. Mistral AI74

    Mistral 推出 Mistral Large 4 公开预览版,1T 总参数原生多模态大模型

    Mistral 推出 1T 总参数、49B 激活参数的原生多模态大模型 Mistral Large 4 公开预览版,权重计划月底开源,API 已上线 Mistral Studio。

    推荐理由:Mistral 推出 1T 总参数、49B 激活参数的多模态大模型 ML4 公开预览版,并附带编码、Agent、网络安全、视觉理解与科学推理等多个基准的逐项对比数据与训练基础设施介绍。

  2. HF Daily Papers39

    CADFather:用多工具协同从三维网格自动重建可编辑 CAD 模型

    CADFather 是一个面向 CAD 自动重建的智能体系统,通过协调多种互补工具从三维网格恢复参数化 CAD 程序。系统由视觉语言助手检查目标与中间重建的渲染图,决定调用哪些工具、生成多少候选程序以及何时终止,候选生成与参数优化相互衔接并以执行反馈驱动下一步决策。

    推荐理由:原文给出多工具协同的智能体重建框架及多个 CAD 数据集上的评测,读者可据此判断该方法对自己工程重建任务的迁移性。

  3. HF Daily Papers48

    VisionWeave 为多模态大模型引入端到端弹性视觉表征

    VisionWeave 为多模态大模型引入端到端学习弹性视觉表征的能力,结合门控空间池化器与粒度路由器两个组件。基于 Qwen3.8-27B(自蒸馏训练超过 30K A100 GPU 小时),平均节省 43.0% token 同时在八个基准上保持 98.9% 原生性能,显著优于固定 50% 剪枝基线仅保留的 88%。

    推荐理由:给出了在多模态大模型中端到端学习弹性视觉表征的具体方法,并以 token 节省与吞吐数据展示相对固定剪枝方案的效率优势。