跳到正文
10月26日周一
  1. HF Daily Papers38

    OmniShowcase 基于多视图图像实现全向主体一致性视频生成

    OmniShowcase 通过几何驱动的训练数据和表面法线图条件,改善从多视图参考图像生成特定主体视频时的新视角主体身份与 3D 一致性。

    推荐理由:论文将几何驱动的数据合成与表面法线条件结合,配套构建 Showcase-4K 和 ShowcaseBench,便于复现并比较跨视角主体一致性表现。

10月25日周日
  1. HF Daily Papers51

    RynnVLA-Latent:以3D接地潜在动作扩展机器人操作基础模型

    RynnVLA-Latent 从人类、机器人和仿真交互视频学习连续、3D接地的潜在动作,用于扩展机器人操作基础模型的预训练监督。框架处理30.1K小时视频,生成745.52M潜在动作描述符,并以flow matching训练4B策略,再适配到具体机器人形态的动作。

    推荐理由:论文展示了从异构视频生成3D接地潜在动作的预训练方法,并附有数据扩展与消融结果,可供机器人策略研究者对照理解。

  2. HF Daily Papers40

    ChronoReplay 通过时间有序回放统一多类流式空间推理任务

    ChronoReplay 是面向流式视觉语言模型的训练框架,通过按时间顺序组织异构空间监督、保留任务专属答案格式并平衡不同监督族,统一分类关系、度量距离和运动轨迹三类空间推理。它在 OVO-S-Bench、OST-Bench 和 UCS-Bench 上均取得一致提升,OST-Bench 提升 13.41 分,并通过自适应帧选择在降低视觉处理成本的同时改善效果。

    推荐理由:ChronoReplay 针对空间模型按答案格式专精导致的接口锁定,呈现多类监督平衡、时间有序回放与自适应帧选择的训练方案及基准结果。

10月24日周六
  1. 量子位40

    iRTE2026:声网CEO赵斌提出五级对话能力框架

    声网CEO赵斌在iRTE2026提出五级对话能力框架,把对话式 AI 从单轮应答一路拓展至基于深度关系的沟通。L1至L5分别覆盖自身视角表达、互动规律、个体认知、群体认知与深度关系,赵斌称实时互动基础设施还需支撑低延迟、稳定交互、上下文理解与任务执行。

    推荐理由:赵斌的五级框架把对话能力从单轮应答延伸到关系理解,圆桌则补充 Agent、穿戴设备和业务交付视角,为梳理对话式 AI 的演进方向提供具体参照。

  2. 腾讯混元74

    腾讯混元发布 Hy-Nomas 交互式视频世界生成模型及 BF16 Diffusers 权重

    腾讯混元发布 Hy-Nomas,一款通过文本指令与镜头控制实现自由形式多轮交互的视频世界生成模型,并提供 BF16 Diffusers 权重。模型采用分段自回归 DiT、Qwen 文本编码器和 PixelUMM 视频解码器,以 KV cache 延续上下文;示例使用 4 步去噪,输出 704 × 1280、24 FPS。

    推荐理由:模型卡同时给出交互机制、推理参数与基准覆盖,开发者可据此复现多轮视频世界生成,并评估交互控制与空间记忆表现。

  3. HF Daily Papers57

    AV-FABLE提出长视频音视频篡改取证基准与NFSR方法

    AV-FABLE提出面向长视频稀疏篡改的双时间线音视频取证基准,并以NFSR通过分离的音频与视觉时间解码器读取冻结AV-LLM特征。基准包含 16,650 对原始与篡改孪生视频,共 998 小时和 27 种编辑配置,支持音频与视觉的独立时间定位。

    推荐理由:AV-FABLE对比零样本提示与冻结特征读出,展示分离时间解码器在长视频音视频篡改定位上的取证优势。

  4. Google Research72

    Google Research 推动基础模型用于一线结核病筛查

    Google Research 正将 MedGemma、MedSigLIP 用于一线结核病筛查,覆盖胸片分诊、咳嗽声筛查与本地临床推理。团队通过 HAI-DEF 开源胸片嵌入与 MedSigLIP,并发布 4B、27B 开放权重 MedGemma,后者全球下载量已超过 10 million。

    推荐理由:文章串联算法验证、监管认证、跨国部署与本地化微调,呈现医疗 AI 从研究走向临床的转化路径与关键环节。

  5. HF Daily Papers36

    FilmFlow:用于 3D 虚拟电影摄影的智能体系统

    FilmFlow 将自然语言指令或参考视频转换为动态 3D 场景中的可执行相机轨迹。Director 智能体组合平移、旋转和构图等原子操作,Interpreter、Scout、Critic 分别解析意图、选择初始视角并提供迭代反馈。

    推荐理由:FilmFlow 将导演、意图解析、勘景和审片四类智能体串联,并以 150 个 Blender 场景的 CinemaBench 覆盖文本与视频参考两种生成方式。

10月23日周五
  1. HF Daily Papers62

    AgentVQA:面向智能体视觉理解的统一评测基准

    论文提出 AgentVQA 离线基准,在 Web 智能体、机器人、第一人称视频、游戏和空间规划五类场景评测视觉语言模型。该基准从 23 个源数据集人工选取并改造 1000 个具有挑战性的真实世界智能体样本;在 22 个参评模型中,最佳准确率仅为 58.5%。跨域分析显示,主要失误来自 UI 元素定位、运动理解、状态变化跟踪和 3D 空间关系推断,而非任务误解或后续逻辑推理。

    推荐理由:该基准以离线方式统一比较五类真实智能体场景中的模型,排名趋势与对应在线评测一致,并定位视觉 grounding 和状态跟踪失误。

  2. HF Daily Papers60

    WeVisOne-VL:从对象到像素的统一视觉感知

    论文提出 WeVisOne-VL,通过结构化 token 预测统一对象级与像素级视觉感知。该 VLM 借助轻量 pixel decoder 和特殊 <OBJ> token 生成实例级像素输出,并采用三阶段课程训练,先进行 SFT,再进行混合任务 RL。

    推荐理由:将检测、定位、OCR、分割与抠图纳入同一 VLM,并给出 30 多个基准结果,为比较细粒度视觉感知方案提供集中参考。

  3. 腾讯混元57

    腾讯 WeChat Vision 发布 WeVisOne-VL-4B 统一视觉感知模型

    腾讯 WeChat Vision 发布 WeVisOne-VL-4B,将对象级视觉任务与像素级视觉任务统一到同一模型中。模型基于 Qwen3-VL,通过结构化 next-token prediction 和 9.6M 参数轻量像素解码器,支持开放词汇目标检测、指代定位、目标计数、目标指向、OCR、指代分割及可提示 alpha 抠图。

    推荐理由:模型将对象级与像素级视觉感知统一到同一架构,公开坐标标记、实例标记和 9.6M 参数像素解码器细节,便于对照研究视觉定位、分割与抠图。

  4. HF Daily Papers45

    OmniDR-Bench 评测生成视频中心深度研究报告的智能体

    研究者提出 OmniDR-Bench 和技能工作流,用于评测智能体围绕视频综合外部证据并生成关联视频时刻的交互式报告。该基准包含 19 个现实子类别、50 个中英文任务和 6,414 条标准,并以 Omni-ARTs 评估 18 种智能体配置;最佳系统得分 63.3/100。

    推荐理由:该基准将视频定位、外部多模态证据检索与交互式报告纳入统一评测,并呈现智能体在覆盖范围和跨模态分析上的能力差距。

  5. HF Daily Papers42

    Verus-Insight 以三阶段证据流程检测 AI 生成视频伪影

    Verus-Insight 通过检查规划、证据验证和证据聚合训练 AI 生成视频伪影检测器,并采用人工锚定的全流程监督与渐进能力训练。论文还提出带有人工标注可感知伪影的 Verus-Bench;多基准实验显示,该方法在细粒度伪影分析和视频级检测中表现较强,并能更可靠地将检查目标转化为有支持的证据,同时未增加虚假伪影断言。论文地址为 https://arxiv.org/abs/2610.30866。

    推荐理由:论文把 AI 生成视频伪影检测拆为检查规划、证据验证和证据聚合,同时提供细粒度人工标注基准,便于比较检测器的证据识别能力。

  6. HF Daily Papers36

    论文提出 FAPL,利用 MLLM 潜变量实现电影化视频的稀疏推理与因子控制

    论文提出因子感知预测学习 FAPL,通过分阶段训练让视频 DiT 更有效地利用 MLLM 潜变量,支持稀疏时间推理与因子感知的电影化控制。训练先以冻结的 MLLM 和连接器强化 DiT 的潜变量利用,再通过 factor-span replacement 学习目标因子改变与非目标保持,最后冻结 DiT 并优化 MLLM 和连接器,兼顾有限输入表示学习与完整观察重建。

    推荐理由:论文将 MLLM 潜变量利用、稀疏推理和因子控制放进同一分阶段训练框架,便于理解多模态表征如何用于电影化视频生成。

  7. HF Daily Papers36

    OPST 论文提出大语言模型无人工问答数据的自我训练框架

    研究提出 On-Policy Self-Training(OPST),让大语言模型仅凭粗粒度主题描述生成问题、答案和特权推理示范,在不依赖人工编写问答的情况下实现自我改进。伪验证过滤器只保留模型能在新上下文和改写问题中复现答案的题目。实验覆盖域内自我改进、域外知识保持和 Visual OPST 多模态迁移,结果显示其提升语言与多模态推理,并优于其他训练策略。

    推荐理由:论文把自蒸馏改写为自训练框架,并用可复现性过滤自生成题目,为无人工问答的模型自我改进提供了具体路径。

  8. HF Daily Papers50

    多模态大语言模型跨模态共享检索头机制研究

    这项研究考察多模态大语言模型的检索头是否会随输入模态增加而扩展,并用音频与画面呈现相同答案的配对输入进行验证。在18个语言、视觉语言和全模态检查点上,全模态模型基本保留骨干模型的检索头,消融这些头几乎消除全部音视频检索。

    推荐理由:论文把跨模态共享的检索头转化为优化目标,并报告该方法在三个模型家族上改善文档检索,为改进多模态检索提供了一种方法。

  9. HF Daily Papers53

    RynnUnify 论文提出融合视觉规划、物理推理与机器人控制的16B统一具身模型

    RynnUnify 是一种 16B 统一具身模型,通过视频—语言交错推理整合视觉规划、物理推理与机器人控制,并形成智能体扩展与世界—动作扩展。实验显示,其具身理解平均分在所评估的统一多模态模型中最高,Rynn-VP 总体分较 Cosmos 3 Nano 高 9.75 分,智能体扩展使 Rynn-GEU 平均分较直接推理高 6.0 分。

    推荐理由:RynnUnify 将具身理解、长程视觉规划与机器人控制纳入同一16B模型,并以基准和真实机器人任务检验各扩展模块。

  10. HF Daily Papers46

    感知运动对齐:S²作为具身策略成功率的代理指标

    这项研究将柏拉图表征假说扩展到机器人领域,并提出Sensorimotor Alignment(S²),以感觉表征邻域与末端执行器轨迹邻域的重叠度衡量对齐程度。仿真中的Vision-Language-Action模型(VLA)、World Action Models(WAMs)及真实机器人策略均显示,S²越高,任务成功率通常越高。

    推荐理由:研究以感觉表征与运动轨迹的邻域重叠构建S²指标,为闭环评测前识别更可能取得高任务成功率的模型提供低成本离线依据。

  11. HF Daily Papers50

    Falcon:面向真实声学场景的高效流式音视频目标说话人提取

    Falcon 是一种因果音视频目标说话人提取模型,利用目标说话人的嘴部视频从噪声和重叠语音中提取其声音。模型采用单次多尺度时频分离器与编码空间说话人对比损失,相较 causal AV-TFGridNet,可训练参数减少 91.9%,计算量降低 20.2×,GPU 推理延迟降低 11.1×。

    推荐理由:论文提供真实场景基准,并报告相对 causal AV-TFGridNet 的参数、算力与延迟对比,便于评估效率取舍。

  12. HF Daily Papers52

    World-in-Context:基于上下文条件化的交互式视频世界建模

    World-in-Context 提出上下文条件化(ICC)框架,用共享自注意力中的显式 token 统一视角、动作和相机控制。World-in-Context-5B 在 WBench 上取得 81.5 的导航表现,接近 22B EchoWM 的 81.6;视角切换成功率达 93.8%,高于现有 5B 基线的 18.8%。

    推荐理由:论文用显式 token 统一视角、动作与相机控制,并在 WBench 对比 5B 与 22B 方案的导航和视角切换表现。

  13. HF Daily Papers46

    AW-0 智能体世界动作模型框架联合建模代码、视频与机器人动作

    AW-0 提出智能体世界动作模型框架,将基于代码的规划与未来视频和机器人动作作为三类耦合生成流统一建模。其混合 Transformer 架构由代码专家生成参数化技能程序和控制逻辑,视频与动作专家生成未来视觉状态及低层电机指令;自动整理流程还会用对齐程序标注机器人与人类视频轨迹,并将重复流程汇入技能库。

    推荐理由:论文将代码规划、未来视频与机器人动作纳入同一生成架构,并报告任务表现相较 VLA 和 WAM 基线有所改善。

  14. Hugging Face Blog71

    OlmoEarth v1.3 发布全球卫星嵌入模型、预计算数据与探索工具

    OlmoEarth v1.3 发布卫星嵌入模型及全球年度预计算数据,为全球每个 10m 像素提供 64 或 128 维嵌入,并上线 OlmoEarth Embeddings Explorer。

    推荐理由:模型不仅开放权重、数据和代码,还提供全球预计算嵌入与浏览器工具,读者可据此评估低算力遥感制图工作流。

10月22日周四
  1. HF Daily Papers41

    RealMe 从稀疏低分辨率采集生成沉浸式体积视频

    RealMe 提出统一框架,利用高分辨率视频扩散模型将稀疏、低分辨率多视角采集增强为 2K、4D 一致的体积视频。框架采用适配多视角布局的时空注意力、布局感知位置嵌入和潜空间频域损失,以改善分辨率与时空一致性。在 DNA-Rendering 和自采 RealVV 数据集上的实验显示,其视觉保真度和 4D 一致性优于已有最先进方法。

    推荐理由:论文以高分辨率视频扩散模型、布局感知注意力和潜空间频域损失,将有限采集增强为 2K、4D 一致的体积视频。

  2. 腾讯混元69

    腾讯混元发布 Hy-SimulMT 中英双向实时同声传译模型

    腾讯混元发布 Hy-SimulMT,提供中英双向语音到语音实时同声传译,并支持在配置 TTS 后进行实时声音克隆,保留说话者声音特征。模型持续接收音频并同步输出译文文本与语音,面向会议、演讲和访谈等实时沟通场景。

    推荐理由:材料给出 RealSI 等基准、与职业译员的小规模对比及完整部署路径,读者可据此判断模型在实时翻译场景中的质量、延迟与可操作性。

  3. HF Daily Papers38

    PAPAV:从计算机使用到机器人使用的多模态具身智能体统一能力框架

    论文提出PAPAV框架,用感知、预判、规划、行动和验证五项能力统一比较多模态智能体、机器人系统与多模态具身智能体。对64项基准的分析显示,显式评测主要集中在行动,只有5项评估预判、3项评估验证。论文还指出,从数字环境转向物理环境时,5项约束会减少预先固定的选择和纠错空间。

    推荐理由:PAPAV以五项能力统一比较多模态智能体、机器人系统与多模态具身智能体,并显示64项基准中仅5项评估预判、3项评估验证。

  4. NVIDIA Blog71

    NVIDIA Cosmos 平台新增世界模型训练、评估与部署工具

    NVIDIA Cosmos 平台新增训练工具、仿真检查点和 Cosmos Data Factory 蓝图,面向世界模型与物理 AI 开发。Data Factory 提供 5 个云原生蓝图,涵盖驾驶数据、图像增强、事件视频和缺陷生成等场景。

    推荐理由:原文将数据构建、模型训练、策略测试与部署串成完整链路,并给出推理和视频处理能力的量化变化,便于评估平台落地范围。

  5. HF Daily Papers43

    视频世界模型综述以读写、共享与交互统一视频理解和生成

    这篇视频世界模型综述以世界建模为统一视角,梳理视频理解与生成围绕潜在时间状态展开的进展。论文将相关工作归为读取、写入、共享和交互四类操作,并区分时间连贯性与底层世界状态的一致性。综述指出,研究重点正从片段级识别和感知保真度转向持久状态、可控演化、物理与因果有效性,以及交互和下游决策导向的评测。

    推荐理由:这篇综述以世界建模串联视频理解与生成,并按读写、共享、交互四类操作梳理技术演进与开放问题。

  6. HF Daily Papers51

    DirCast:用单一流式视频语言模型完成电竞导播与实时解说

    DirCast 是一种流式视频语言模型,可仅依据过去上下文同时选择电竞直播镜头并生成实时解说。模型每秒低分辨率扫描所有摄像头,以保持或切换策略决定是否转场,再以高分辨率读取选中画面并解说;上下文保留已播画面与已生成解说,让其余视角移出,从而约束任意长度流的成本。

    推荐理由:论文把每秒选镜头与实时解说统一进单一流式模型,并提供规则系统、GPT-5、GPT-4o及11个流式解说器的对照结果。

  7. HF Daily Papers48

    F2G-Pose:用于直接 RGB-D 类别级物体位姿估计的几何感知基础特征提升

    F2G-Pose 提出实时单次前馈框架,从单张 RGB-D 图像直接预测类别级物体的三维位姿、米制尺寸和相机坐标系下的补全形状。方法将稠密视觉基础特征提升为局部点云,以 DGCNN 编码局部几何,并用 Mixture-of-Experts Transformer 融合对象级结构。

    推荐理由:F2G-Pose 在 SOPE 和 ROPE 上达到 SOTA,位姿推理速度为 28 FPS,为实时三维位姿估计提供了兼顾精度与效率的方案。

  8. HF Daily Papers58

    BrickWright:智能体生成物理可行的 LEGO 积木装配

    BrickWright 通过装配 API 和物理可行性验证器,让预训练智能体根据文本或图像提示生成物理可行的 LEGO 积木装配。在 512 个提示的样本上,智能体达到 100% 物理有效性,基线智能体则为 9%(GPT-6 Luna)至 69%(GPT-6 Astra);轻量智能体的提示遵循度提升,强智能体保持该指标,并优于专用模型完成文本到积木任务。

    推荐理由:BrickWright 将装配 API 与物理可行性验证器接入智能体,为实体积木生成提供了一套可复用的验证与纠错方法。

10月21日周三
  1. HF Daily Papers48

    论文提出面向任意骨骼绑定的 3D 运动与视频联合生成模型

    论文提出一种面向任意骨骼绑定的模型,可联合生成视频与 3D 运动,并估计相机以将运动对齐到场景。模型把独立的 3D 运动模型通过少量交叉注意力层连接到预训练视频生成器,训练中使用生成式视频编辑器以及人类和机器人视频,形成 nearly 200K 训练对。

    推荐理由:论文比较了任意骨骼动画中联合生成与视频优先方案的差异,评测重点落在文本驱动忠实度与场景响应。

  2. HF Daily Papers53

    面向音视频推理的证据驱动评测基准 EvaOmni

    研究人员发布面向全模态大模型的音视频推理评测基准 EvaOmni,包含 392 段视频与 1027 道人工标注问答,覆盖 15 项能力以及检索定位、基础理解与复杂推理三个层级。

    推荐理由:针对全模态大模型的音视频推理评测,给出 15 项能力、三个层级和 392 段视频的覆盖,可对比主流模型在证据定位上的真实差距。

  3. HF Daily Papers45

    Video-Point Model 通过点轨迹预测学习4D世界

    Video-Point Model(VPM)根据多视角视频历史和语言指令,联合预测任意视角的未来视频与持久场景点的3D轨迹。它在预训练世界模型中加入相机条件多视角处理和轨迹头,并构建 VPM-Data 仿真语料与 VP-WorldBench 预测基准。

    推荐理由:将多视角视频预测与持续点轨迹监督结合,并通过仅视频对照及模拟和真实机器人实验呈现共享3D表征的作用。

  4. HF Daily Papers47

    Foundation4D:面向自动驾驶的统一感知与重建模型

    Foundation4D是一种面向自动驾驶的统一前馈模型,可从多摄像头驾驶视频联合估计几何、检测目标、预测语义占据并进行高斯重建。其共享骨干以分解式时空注意力融合跨相机和跨时间观测,位姿图优化用于细化相机轨迹并组装目标轨迹。

    推荐理由:Foundation4D将多摄像头驾驶视频的几何、检测、语义占据与高斯重建纳入统一前馈框架,并发布含1,253段稠密标注驾驶片段的基准,便于比较联合训练的多任务收益。

  5. HF Daily Papers47

    LaLa-World:通过自然语言动作扩展潜世界模型

    LaLa-World 提出语言条件潜世界模型,联合学习仿真、机器人轨迹及更广泛的图像和视频数据,平均 MPC 规划性能高于按域或任务分别训练的 LWM。它把数值动作和视觉变化都描述为语言,并基于语言模型预测未来潜状态,用同一预测器联合训练异构数据集。

    推荐理由:论文用匹配比较呈现 LaLa-World 的效率,在规划性能与 RAEv2 基线相当时,训练成本低 6times、规划速度快 13.9times。