跳到正文
10月20日周二
  1. HF Daily Papers36

    Manga2Animate:基于创作-评审双智能体的漫画动画生成框架

    Manga2Animate 提出一个多智能体框架,把漫画改编为动画的过程拆成动画脚本和视觉分镜两个中间表示,分别由创作智能体生成、由评审智能体对照原画面把关,再合成最终动画。作者针对两类表示设计筛选与双层反馈逐步迭代;实验与用户研究显示其结果在忠于原作和跨镜头一致性上优于当前最佳方法。项目页:annchenn.github.io/Manga2Animate

    推荐理由:指出直喂分镜页和仅靠文本这两条已有路线的局限,给出创作评审双智能体配合中间表示这一可迁移方案。

  2. HF Daily Papers44

    InfiniDream:基于程序化生成的开放式照片级真实感 3D 世界框架

    InfiniDream 提出了一种由视觉语言模型驱动的框架,通过符号化程序化资产生成与确定性场景放置,构造开放式、可编辑、照片级真实感的 3D 世界。

    推荐理由:原文给出 VLM 驱动的程序化 3D 世界生成框架及两项关键模块设计,读者可据此了解如何用符号约束与确定性放置提升场景可控性。

  3. HF Daily Papers44

    HOLI-WORLD:从人类第一人称经验构建整体世界智能的生态

    HOLI-WORLD 论文提出一套从人类第一人称视频自动构建大规模学习资源的完整生态,覆盖采集、世界表征、自动数据构建、模型学习与独立评测五个环节。

    推荐理由:原文给出从第一人称视频自动构建训练数据与评测基准的完整管线,读者可据此评估其在具身场景理解方向的可迁移性。

  4. HF Daily Papers47

    Brain LoRA:用参数高效微调扩展 104B 多模态脑编码模型

    本研究提出 Brain LoRA 方法,用 LoRA 低秩适配器对多达 104B 参数的多模态 backbone 做参数高效微调用于脑编码,并在 Qwen3-Omni 上取得 Algonauts 2025 Challenge 已发表最佳成绩。

    推荐理由:对想用大模型做神经科学数据的读者,这篇给出了把 LoRA 扩展到 104B 多模态模型的具体工程路径和性能基准。

  5. HF Daily Papers40

    ScaleNav 通过互联网视频预训练实现语言条件局部导航

    ScaleNav 提出统一的世界—动作框架,利用互联网第一视角视频学习目标导向视觉动态,并据此生成语言条件局部导航所需的机器人动作。训练分为指令条件视频预训练、使用带动作标签的仿真数据进行动作对齐,以及联合微调三个阶段。

    推荐理由:论文把互联网第一视角视频预训练、仿真动作对齐与联合微调串成三阶段流程,并给出仿真基准及真实四足机器人部署结果。

  6. HF Daily Papers46

    WorldStream:通过分层规划与持久状态生成流式交互式 3D 世界

    WorldStream 是一种开放式 3D 世界模型,可持续扩展地形、处理语言命令,并保留用户对已访问地点的编辑。其分层规划器由 Macro 确定聚落、生态、交通和水文结构,再由 Micro 将约束细化到地块,并由确定性本地代码生成世界内容。流式编译只处理移动即将到达的区域并释放身后几何,单一世界记录则保存计划、种子、对象身份、可变状态、边界承诺和编辑,返回地块时据此重新编译。

    推荐理由:论文拆解了分层规划、流式编译与持久世界记录如何协同,支撑无预定义地图的交互式 3D 世界持续扩展。

  7. HF Daily Papers54

    Qwen-Audio-3.1-ASR 模型家族技术报告发布

    Qwen-Audio-3.1-ASR 模型家族在 Qwen-Audio-3.0-ASR 基础上改进语音识别,并扩展说话人区分转写与通用音频理解能力。该家族支持 30 种语言和 16 种中文方言;说话人区分 ASR 输出说话人标签、时间戳和识别文本,保持跨轮次说话人标签一致,并能表示重叠语音。

    推荐理由:报告将语音识别、说话人区分和通用音频理解纳入同一模型家族,并列出语言、方言及部署变体,便于对照不同任务需求。

  8. HF Daily Papers55

    OvisOCR3 技术报告:0.8B 视觉语言模型统一五类 OCR 任务

    OvisOCR3 技术报告提出一个0.8B视觉语言模型,以单一模型统一文档解析、通用OCR、关键信息提取、文档图注生成和跨页表格重建五类任务。模型通过继续预训练、领域平衡中期训练、5个领域专用4B教师模型的on-policy蒸馏,以及带领域特定奖励的混合任务强化学习完成训练。

    推荐理由:报告给出了0.8B OvisOCR3统一五类OCR任务的训练路径,涵盖领域平衡中期训练、多教师on-policy蒸馏和混合任务强化学习。

10月19日周一
  1. HF Daily Papers48

    SpatialScout 评测 VLM 智能体主动探索与 3D 场景建图能力

    SpatialScout 提出一个评测 VLM 智能体主动探索并完成物体级 3D 映射的基准,包含 80 个室内场景和 3,140 个目标物体。智能体控制相机探索场景,在有限交互预算下估计物体中心,评测同时衡量定位准确率与目标覆盖率。

    推荐理由:SpatialScout 以 80 个室内场景和 3,140 个目标物体量化检验 VLM 智能体的主动 3D 映射,并显示精确建图仍是主要短板。

  2. HF Daily Papers50

    Ropedia W0:利用人类经验扩展跨具身移动操控世界模型

    Ropedia W0 是面向人类与机器人的跨具身移动操控世界基础模型,通过统一运动学表示融合两类数据,并在五项跨具身基准上取得 SOTA。其 Xp-Data 包含 10k 小时第一视角人类数据和 3k 小时机器人数据,并配有统一多模态标注与质量控制;Xp-Teleop 基于灵巧人形机器人遥操作数据构建。

    推荐理由:论文将10k小时人类第一视角数据与3k小时机器人数据统一建模,并提供跨具身基准,便于比较人类经验对机器人移动操控性能的影响。

  3. HF Daily Papers44

    FocusGUI:按步骤聚焦多模态证据的 GUI 智能体适配器

    FocusGUI是一种轻量适配器,可为GUI智能体动态选择相关的多模态证据,在不微调骨干模型的情况下减少无关上下文造成的误差累积。它仅使用动作监督训练,将相关证据压缩为紧凑潜表示并注入冻结解码器的嵌入,不依赖模态相关性标签。

    推荐理由:FocusGUI为GUI智能体训练轻量适配器,按步骤筛选多模态证据,并给出跨四种骨干模型的动作准确率对比。

10月18日周日
  1. HF Daily Papers35

    MT Forcing:利用自回归扩散提升多轮图像编辑稳定性与一致性

    MT Forcing 提出一种基于自回归扩散的多轮图像编辑训练范式,面向统一多模态模型,结合单轮分布匹配蒸馏和教师强制引导。Single-Turn DMD 以单轮累积编辑教师指导学生自主生成,减少递归误差累积;Teacher-Forcing Guidance 在预热和蒸馏阶段约束依赖历史的转场,以保持跨轮内容一致。实验显示,该方法提升了视觉质量稳定性和跨轮一致性。

    推荐理由:论文把多轮编辑中的质量退化与内容漂移拆成两类问题,并给出对应训练机制,便于理解统一多模态模型的稳定性改进路径。

  2. HF Daily Papers36

    TCoVP 提出时空锚定的视频推理分割方法

    TCoVP 提出一种时空锚定的视频推理链,将实体与带时间戳的空间证据关联,用于定位隐式描述的目标并预测其像素级掩码轨迹。该方法按时间顺序组织查询相关观察,把语言与实体引用交织在推理链中,选中的目标基元再提供框提示和时间支持。

    推荐理由:TCoVP 按时间顺序串联实体、时间戳与跨帧空间证据,展示了在视频分割中显式连接语言推理与视觉证据的方法。

10月17日周六
  1. 量子位74

    谷歌发布Gemini 4 Argon,强调编程与多模态升级、API限时半价

    谷歌正式发布Gemini 4 Argon,强化编程、复杂任务持续执行与多模态能力。第三方Artificial Analysis智能指数中,Argon High与GPT-6 Astra Max、Claude Fable5.1 Max并列53分;同类任务平均成本约1.99美元,比Astra低约39%。

    同一件事,精选收录的是《Google 发布 Gemini 4 Argon 前沿模型,定价 $2/$10 每百万 token》

10月16日周五
  1. HF Daily Papers40

    MJev-Spatial 基于 Qwen3.5-4B 把空间推理统一为分类任务,推理速度达自回归基线 5.6 倍

    MJev-Spatial 把三类空间推理任务统一为单次前向分类,免去自回归解码生成的答案 token。它基于 Qwen3.5-4B、用 1230 万问答对训练,整体得分 65.64%,在 12 项基准中拿下 7 项第一,推理速度达自回归基线的 5.6 倍。

    推荐理由:把空间推理统一为单次前向分类,免去答案 token 的解码开销,在 12 项基准中拿下 7 项第一,可作为高效多模态推理的参考方案。

  2. HF Daily Papers38

    OmniVerifier-C1:面向规则约束生成世界建模的分解式分级验证器

    OmniVerifier-C1 提出一种分级视觉验证器,将复杂多模态规则自动拆解为细粒度子问题并给出逐点评分,替代传统二元 True/False 判断。论文引入 Decoupled RL 训练策略,联合优化子问题级二元判断和全局对齐评分;在 text-to-image 场景中逐点评分验证器显著优于二元验证器。

    推荐理由:原文把视觉验证器从二元判断扩展为逐点分级评分,并配套 Decoupled RL 训练策略与成对验证理论分析,读者可对照 Maze 和 Sudoku 实验评估其迁移到结构化世界建模的可行路径。

  3. HF Daily Papers39

    小米发布 4B 多模态模型 Xiaomi-Lens-0 技术报告

    Xiaomi-Lens-0 是一个基于 Qwen3.5 构建的 4B 多模态大模型,通过轻量解码器把视觉编码器 patch 特征与语言模型的 mask-token 状态融合。

    推荐理由:原文给出从视觉表征直接预测 mask 并监督链式推理中访问区域的具体路线,读者可据此与其他细粒度区域理解方案做对照。

  4. HF Daily Papers47

    MARS 利用文本拒答方向实现多模态安全引导

    MARS 提出一种无需训练和多模态安全数据的多模态安全引导方法,仅从 LLM 主干提取文本拒答方向即可用于图像和视频。它通过激活居中、在几何定义的信任区域内自适应调节引导强度并选择干预层,在首个生成 token 生效。五个 SOTA MLLMs 上的安全、效用和视频越狱评测显示,MARS 持续提升安全性并保持效用;效果受层选择和引导强度影响,跨模态对齐可能导致安全输入被误导向拒答。

    推荐理由:MARS 展示了仅复用文本拒答方向改造多模态安全控制的方法路径,并呈现层选择、引导强度与跨模态对齐的影响。

  5. NVIDIA Blog72

    NVIDIA 开源 Nemotron 3.5 Super VL 与 Bolt 74B-A9B 24GB、Bolt E4B 4GB

    NVIDIA 发布开源 Nemotron 3.5 Super VL,并推出端侧模型 Nemotron 3.5 Bolt 74B-A9B 24GB 和 Nemotron 3.5 Bolt E4B 4GB,覆盖从企业服务器到本地及边缘设备的智能体部署。

    推荐理由:三款模型覆盖企业服务器到 4GB 端侧设备,并给出参数规模、速度、基准与部署路径,便于比较不同智能体场景的选型。

10月15日周四
  1. HF Daily Papers36

    多模态智能体记忆机制研究:提出两轴分析框架与三级记忆管理分类

    该论文提出一个两轴分析框架来研究多模态智能体的记忆机制:第一轴关注多模态信息的形成与表征,第二轴将记忆管理划分为三级,即 T1 静态记忆、T2 动态记忆和 T3 自演化记忆。基于该框架,作者归纳了若干设计模式,并提出在源保真度与抽象、时间有效性、可恢复证据以及记忆策略演化之间取得平衡的原则,论文最后讨论了多模态智能体记忆机制的未来方向。

    推荐理由:论文给出了两轴分析框架与三级记忆管理分类,为评估和设计多模态智能体长期记忆系统提供了可比较的参考坐标。

  2. HF Daily Papers35

    LensErase:面向任意擦除的基础模型

    LensErase 是一个 mask-based Erase Anything 基础模型,覆盖物体、视觉文本、水印、多物体移除及不同尺度、宽高比与分辨率的真实擦除场景。

    推荐理由:原文同时发布模型、1.01 亿配对样本数据集和评测基准,可作为图像擦除任务的复现起点。

  3. HF Daily Papers46

    ATAS:面向长程智能体视频生成的时空一致性框架

    ATAS 框架针对长程智能体视频生成中的跨镜头时空一致性问题,将剧本分解为带位置、镜头和事件时间标注的镜头请求,并在生成前从静态几何场景记忆和按场景/事件/时间索引的事件记忆中检索证据。

    推荐理由:原文提出可同时处理跨镜头空间一致性和事件回放的生成框架,并在多个视频生成器基座上验证了一致性提升。

  4. 阶跃 StepFun69

    阶跃星辰在 Hugging Face 发布 Step 5 Preview,主打 Agentic 工作

    阶跃星辰在 Hugging Face 发布旗舰模型 Step 5 Preview,主打 Agentic 工作。该模型为稀疏 MoE 架构,总参 600B、激活 27B,支持最高 1M 上下文,可输入文本、图像和视频,重点强化软件工程、长链路智能体执行、专业知识工作与金融任务。

    推荐理由:给出了 600B 总参 / 27B 激活的 MoE 架构与 vLLM/SGLang 并行部署参数,可据此搭出 1M 上下文推理集群。

  5. HF Daily Papers38

    OmniXRef:支持文本、图像与视频多参考的统一视频编辑框架

    OmniXRef 提出一个统一的多模态多参考视频编辑框架,允许用户在源视频上同时叠加可变数量的文本、图像与视频参考,分别控制主体外观、相机运动等不同属性。其模型 OmniXRef-Model 采用单流扩散 Transformer,将源视频与来自 MLLM 的多模态上下文在交错序列中联合处理,并引入 R^2-RoPE 位置编码以增强对更多参考的泛化能力。

    推荐理由:原文提出统一框架同时接收文本、图像、视频三类参考来控制视频编辑,并给出专用训练数据和评测基准,对多模态可控视频生成有方法参考价值。

  6. HF Daily Papers38

    ACT3D:通过强化学习让视觉语言模型在 3D 环境中学会思考与主动探索

    ACT3D 通过强化学习训练视觉语言模型从单张第一人称视角主动探索 3D 环境,以最终答案正确性作为奖励信号,无需对探索路径做直接监督。在六个 3D 基准上平均准确率达 53.2%,相对基座 Qwen 模型提升 22.0%、超过 Gemini 3.6 Flash,输入帧数比现有开源 3D 方法少 50-70%,并在未见过的领域平均提升 5.9%。

    推荐理由:原文给出基于结果奖励的强化学习方法,让 VLM 学会在 3D 环境中自适应探索,可作为视觉问答主动感知范式的参考。

  7. HF Daily Papers41

    视觉语言模型属性-对象绑定研究:提出 SABER 基准与合成文本微调方案

    论文提出 SABER 基准,揭示 CLIP 类双编码器和 MLLM 嵌入器在多模态检索中存在广泛的属性-对象绑定失败。SABER 覆盖四种图文模态配对、最多十个对象等更复杂设置;论文还展示仅用合成属性绑定文本微调 MLLM 嵌入器(无需图像监督),即可将性能迁移到跨模态和图像-图像检索,在 SABER 上取得 SOTA,同时在否定和实例检索基准上也有提升。

    推荐理由:SABER 给出了跨四种图文配对的属性-对象绑定评测维度,并展示了不依赖图像监督的合成文本微调路径,对多模态检索相关工作有直接参考价值。

  8. HF Daily Papers40

    视觉生成能否拓展统一多模态模型的知识

    作者提出 Knowledge Transfer Probing(KTP)协议,通过图像生成训练向预训练统一多模态模型(UMM)注入新知识,再用纯文本问答测试其可访问性。

    推荐理由:论文提出 KTP 协议可控衡量视觉生成训练带来的知识迁移,给出对齐方法与可访问性差距数据,可供设计多模态训练时参考。

  9. HF Daily Papers47

    Event-STVG:面向长视频事件推理的时空视频定位基准

    Event-STVG 提出长视频事件推理的时空视频定位任务与大规模基准,将重复事件区分、事件定位、角色推断和多目标定位纳入统一评测。基准覆盖足球及另外7个领域,共标注4,016次事件出现;最强模型在10分钟跨度上的 m-vIoU 仅为5.4%,并持续混淆重复同类事件。代码与标注地址为 https://github.com/THU-KEG/Event-STVG。

    推荐理由:基准将重复事件区分、角色推断和多目标时空定位放在同一任务中,便于比较 MLLM 在长视频事件理解上的细粒度能力差异。

  10. 面壁 MiniCPM39

    面壁 MiniCPM 开源 MiniCPM-V-4.7-35B-A3B 的 DSpark 投机解码草案模型

    面壁 MiniCPM 在 Hugging Face 开源 MiniCPM-V-4.7-35B-A3B-DSpark,这是专为 MiniCPM-V-4.7-35B-A3B 配对的 DSpark 投机解码草案模型,含 5 层约 3.89 亿参数,单次前向生成 15 个 token,使用 200 万样本训练 6 轮 AdamW。

    推荐理由:DSpark 草案模型的训练配方与 vLLM、llama.cpp 的投机解码接入示例都在原文给出,为 MiniCPM-V-4.7 的推理加速提供了一个现成方案。

10月14日周三
  1. HF Daily Papers37

    Open-o3-Video-v2:以可验证时空证据进行检索、定位与推理

    Open-o3-Video-v2 将视频推理建模为统一的智能体证据获取流程,先识别缺失信息、获取额外观察,再把支持推理的时空对象定位写入轨迹后继续作答。

    推荐理由:原文提出把视频推理拆为可验证证据获取的智能体流程,并给出具体基准结果,读者可据此评估该范式在长视频任务上的实际收益。

  2. HF Daily Papers45

    VideoJev:面向视频理解与交互的System One模型

    VideoJev 提出将视频理解与交互统一为结构化决策任务的 System One 模型族,把预训练多模态大语言模型的自回归解码替换为对时间区间与文本选项打分的共享头,从而同时覆盖时序定位和多选视频问答。

    推荐理由:原文给出了统一决策接口在时序定位和视频问答上的精度增益与实测加速比,便于评估其在长视频智能体工作流中的可复用程度。

  3. HF Daily Papers43

    AesCode:基于解耦跨模态奖励的视觉化代码生成方法

    AesCode 论文提出以设计图为表示、用参考图像做美学引导的视觉化代码生成框架,结合确定性验证器与 VLM 评判的解耦跨模态奖励,通过带逐通道归一化的强化学习联合优化布局、美学与可验证正确性。

    推荐理由:原文给出设计图驱动的解耦跨模态奖励方案及相对 Qwen3-VL 的具体提升幅度,可作为视觉化代码生成方向的方法参考。

  4. HF Daily Papers37

    GUI 智能体记忆模态选择研究:SwitchMem 动态切换框架

    本文系统研究 VLM GUI 智能体中记忆模态的选择问题,发现最优记忆表示随交互步骤强烈变化;据此提出 SwitchMem 路由框架,每步动态在文本与视觉记忆之间切换,在三个 GUI 基准上优于使用静态记忆的记忆增强基线。代码与项目页见 https://txxnrd.github.io/switchmem。

    推荐理由:通过系统研究指出 GUI 智能体的最优记忆模态随交互步骤变化,并提出动态切换框架在三个基准上优于静态基线。