跳到正文
10月31日周六
10月30日周五
  1. HF Daily Papers34

    ReLift:将密集 3D 跟踪转化为抬升轨迹修复

    ReLift 提出一种无需基于图像训练的前馈框架,将密集 3D 跟踪转化为几何轨迹修复与补全。轨迹校正器利用沿轨迹与跨轨迹交替注意力,可在不重训时跨跟踪器和几何模型复用。WorldTrack 上平均准确率达 SOTA,较最强基线全点和动态点分别提升 2.1 APD、3.0 APD,较快配置快于 4RC。

  2. HF Daily Papers58

    L3G-World:基于潜空间3D Gaussian记忆的实时无限世界生成

    L3G-World 通过潜空间3D Gaussian记忆与视频扩散Transformer交替自回归更新,实时生成空间一致、可交互的无限世界。记忆规模随场景范围而非生成流长度增长,每个Gaussian还存储VAE潜特征,可直接渲染到DiT潜空间而无需VAE重新编码。

    推荐理由:论文给出潜空间3D Gaussian记忆与视频扩散Transformer交替更新的实时世界生成方案,并以9 FPS及相对基线的效率对比展示实现路径。

10月29日周四
  1. 量子位75

    Genspark Media Studio 正式发布,集成 20 多家厂商的 70 多个模型版本

    Genspark Media Studio 正式发布,将 20 多家厂商的 70 多个模型版本整合为视频 Agent 工作台。大语言模型负责剧本与流程调度,Seedance 2.5、可灵、Veo 等生成视频,GPT Image、Nano Banana 处理图像,ElevenLabs 等负责声音,覆盖短剧、知识讲解和游戏生成。

    推荐理由:实测覆盖短剧、知识讲解和游戏生成,并拆解模型调度、局部重拍与积分消耗,能为判断工作流和成本提供参照。

  2. HF Daily Papers53

    Wizard:通过智能体控制实现任意世界的实时操控

    Wizard 提出一种面向世界模型的智能体控制方法,将角色动画、场景操控和玩法逻辑与视觉生成解耦。该方法通过结构化视觉代理控制角色骨架和场景几何,并以显式世界状态支持自适应 Boss 行为和符合机制的战斗。训练数据包含 50.3 小时代理—视频对,覆盖 750 个场景和 178 个角色,配合少步蒸馏实现 24 FPS 交互,并可零样本泛化到未见场景、角色和动作,代码即将推出。

    推荐理由:Wizard 将角色动画、场景操控和玩法逻辑与视觉生成解耦,并以 24 FPS 实时交互展示了扩展世界模型动作控制的方法。

10月28日周三
  1. HF Daily Papers49

    VibeVideoBench:评测多模态智能体的代码驱动视频生成能力

    VibeVideoBench 提出一个评测多模态智能体代码驱动视频生成能力的基准,包含239项中英文自包含任务和12个类别。每项任务要求智能体在无图像或视频生成模型的沙箱内用代码产出带声音的 MP4,并在1小时内完成;评估结合交付规范程序检查、约13k项任务量规和3个VLM评审组。

    推荐理由:该基准覆盖239项中英文任务,并用分层量规与人类偏好对照,揭示智能体常因时间管理影响最终视频交付。

  2. HF Daily Papers50

    CodeCap-Bench 论文提出以代码作为视频字幕的评测基准

    CodeCap-Bench 论文提出以可执行代码作为视频内容的补充表示,并推出评测多模态模型代码字幕生成能力的基准。该基准包含323个视频、五类结构化2D内容、细粒度标注和多层级评测框架。实验显示,代码字幕在问答推理准确率和视频重建保真度上优于自然语言字幕,但领先专有模型仍难以忠实呈现复杂时序,开源模型明显落后。

    推荐理由:论文用323个视频和五类结构化2D内容构建基准,并同时比较问答与视频重建结果,便于比较模型在复杂时序描述上的差异。

  3. HF Daily Papers55

    Hy-Nomas:面向自由形式交互式世界生成的视频世界模型

    Hy-Nomas 提出一种采用 8B 扩散骨干的视频世界模型,可依据多轮自由文本指令和连续镜头控制生成可变长度片段。模型结合结构化视频描述与动作感知因果注意力,在保留交互历史和动作后果的同时限制动作的作用窗口;视觉语言 Prompt Enhancer(PE)会将用户请求和多模态交互历史转换为下一片段的结构化条件。论文还公开模型权重、代码、基准和轻量适配流程,人工评测显示其表现优于现有世界模型。

    推荐理由:论文将多轮指令、历史缓存和动作时间窗约束整合进 8B 扩散骨干的视频世界模型,并公开代码与基准,为复现交互式生成研究提供技术路径。

  4. HF Daily Papers40

    ThinkWorld 通过世界想象强化链式动力学推理

    ThinkWorld 提出 Vision-Language-Action(VLA)学习框架,将动作推理置于世界动力学中,并通过世界想象强化学习利用无动作标注的人类视频。

    推荐理由:ThinkWorld 用动作标注初始化 CoD,再以世界想象强化学习利用无动作标注的人类视频,为机器人跨本体迁移提供可复用方法。

  5. HF Daily Papers35

    LociArt 提出统一范式实现自由风格局部视频风格化

    LociArt 提出统一范式,通过生成式细化网络实现自由风格的局部视频风格化,并保持非目标内容与较强的时间一致性。GRNStyle 引入极坐标风格感知掩码及表示—几何条件控制,结合自动化数据管线构建包含 100K 个局部风格化配对的 LociArt-100K Dataset。

    推荐理由:LociArt 将区域风格控制、自动化配对数据构建与专用基准整合到统一框架,便于对照评估局部风格化质量、非目标保留和时序稳定性。

  6. HF Daily Papers48

    WeVisCut:单智能体统筹从旁白到长视频的完整剪辑流程

    WeVisCut 研究提出一套脚本转长视频系统,用单一 9B 策略协调视频编辑工具、维护共享制作状态并恢复失败。四阶段数据管线结合编辑反演与验证回放,基于 3,750 个成片生成超过 130K 个训练样本,并提出 100 项任务和 5 项指标。

    推荐理由:该研究把长视频编辑决策、故障恢复与 token 成本纳入同一 9B 策略,呈现任务专用智能体在质量与效率上的取舍。

  7. HF Daily Papers47

    AskStream 基准:流式视频理解在不确定性下何时主动提问、问什么

    研究团队提出 AskStream 多轮基准,用于评估流式视频理解模型在不确定性下主动询问缺失信息的能力。该基准覆盖视频和用户两类不确定性,包含 4 类任务、8 个子任务、438 个视频及 2,714 个人工标注的帧级时间窗口,动作分为等待、提问和回答。在选择题和开放式设置中,最强模型的 Ask-F1 也仅为 52.18%,反映出模型主动寻求信息能力的局限。

    推荐理由:AskStream 将流式视频交互拆分为等待、提问和回答三类动作,并用多轮数据呈现模型主动补全信息的关键难点。

10月27日周二
  1. HF Daily Papers41

    StreamVibe:面向持续变化用户意图的主动视频智能体

    StreamVibe 提出面向主动视频交互的研究方案,包含基准、流式视觉语言模型和分层记忆框架,用于理解显式、隐式及持续变化的用户意图。StreamVibe-Bench 包含 4.1K 个评测样本和 85K 个训练样本,覆盖显式、隐式和动态意图。

    推荐理由:论文将基准、流式模型与分层记忆框架整合为一套主动视频交互方案,并报告响应时机、答案质量和持续适应方面的量化结果。

  2. HF Daily Papers38

    FrameForge 利用视频基础模型先验实现统一条件图像生成

    FrameForge 动态选择不同虚拟间隔的时序 RoPE 专家,并通过潜在中间状态建模条件到目标的变换,实现统一条件图像生成。该方法以 Mixture of Temporal Experts(MoTE)和 Chain of Temporal Reasoning(CoTR)分别建模条件与目标的时序距离及变换路径,建立在预训练视频模型之上。

    推荐理由:FrameForge 将视频模型的动态时序先验用于统一条件图像生成,并用 MoTE、CoTR 和三项基准对比展示多任务表现。

10月26日周一
  1. HF Daily Papers41

    MatAnyone-E 通过稀疏记忆传播加速高分辨率视频抠图

    MatAnyone-E 通过仅在高分辨率下匹配不确定区域并采用轻量解码器,实现估计 7.4 倍的推理加速,同时保持与 MatAnyone 2 相当的抠图质量。它先以低分辨率传播定位不确定区域及相关记忆候选,再只对这些区域进行高分辨率匹配,其他位置复用低分辨率结果。

    推荐理由:MatAnyone-E 将高分辨率匹配限制在不确定区域,并用轻量解码器降低开销,给出 7.4 倍推理加速和 4K 峰值 GPU 内存对比。

  2. HF Daily Papers49

    VMem-Bench 受控研究:长视频生成中的视觉记忆越多越好吗?

    VMem-Bench 受控研究发现,检索视觉记忆能提升长视频的历史一致性,却会降低当前叙事准确性。研究以 92 部真实影片的 16,548 个片段和 30 个因果生成故事的 2,824 个片段开展双轨诊断,比较四种检索策略及无记忆、末次出现对照。

    推荐理由:双轨对照显示,检索视觉记忆虽提升实体召回与历史相似度,却降低当前叙事精度和对禁用实体的规避能力,揭示记忆评估中的关键混淆。

  3. HF Daily Papers38

    OmniShowcase 基于多视图图像实现全向主体一致性视频生成

    OmniShowcase 通过几何驱动的训练数据和表面法线图条件,改善从多视图参考图像生成特定主体视频时的新视角主体身份与 3D 一致性。

    推荐理由:论文将几何驱动的数据合成与表面法线条件结合,配套构建 Showcase-4K 和 ShowcaseBench,便于复现并比较跨视角主体一致性表现。

10月24日周六
  1. 腾讯混元74

    腾讯混元发布 Hy-Nomas 交互式视频世界生成模型及 BF16 Diffusers 权重

    腾讯混元发布 Hy-Nomas,一款通过文本指令与镜头控制实现自由形式多轮交互的视频世界生成模型,并提供 BF16 Diffusers 权重。模型采用分段自回归 DiT、Qwen 文本编码器和 PixelUMM 视频解码器,以 KV cache 延续上下文;示例使用 4 步去噪,输出 704 × 1280、24 FPS。

    推荐理由:模型卡同时给出交互机制、推理参数与基准覆盖,开发者可据此复现多轮视频世界生成,并评估交互控制与空间记忆表现。

  2. HF Daily Papers57

    AV-FABLE提出长视频音视频篡改取证基准与NFSR方法

    AV-FABLE提出面向长视频稀疏篡改的双时间线音视频取证基准,并以NFSR通过分离的音频与视觉时间解码器读取冻结AV-LLM特征。基准包含 16,650 对原始与篡改孪生视频,共 998 小时和 27 种编辑配置,支持音频与视觉的独立时间定位。

    推荐理由:AV-FABLE对比零样本提示与冻结特征读出,展示分离时间解码器在长视频音视频篡改定位上的取证优势。

  3. HF Daily Papers47

    AnyGameRenderer:跨游戏保持实体一致的生成式渲染与实体级基准

    AnyGameRenderer 将 AI 智能体制作的低质量游戏视频转换为高质量画面,并保持布局、镜头及实体位置与时序一致。模型通过 LoRA 微调 33B 的 MiniMax-H3 ref2va 实现,训练数据来自 38 款 AI 智能体制作游戏、Unreal Engine 渲染和真实游戏录像,兼容灰盒、彩色几何体、语义图与线框输入。

    推荐理由:论文同时披露模型训练数据、输入形式和实体级基准结果,为评估视频生成模型能否保持动态场景实体对应提供参照。

  4. HF Daily Papers36

    FilmFlow:用于 3D 虚拟电影摄影的智能体系统

    FilmFlow 将自然语言指令或参考视频转换为动态 3D 场景中的可执行相机轨迹。Director 智能体组合平移、旋转和构图等原子操作,Interpreter、Scout、Critic 分别解析意图、选择初始视角并提供迭代反馈。

    推荐理由:FilmFlow 将导演、意图解析、勘景和审片四类智能体串联,并以 150 个 Blender 场景的 CinemaBench 覆盖文本与视频参考两种生成方式。

10月23日周五
  1. HF Daily Papers45

    OmniDR-Bench 评测生成视频中心深度研究报告的智能体

    研究者提出 OmniDR-Bench 和技能工作流,用于评测智能体围绕视频综合外部证据并生成关联视频时刻的交互式报告。该基准包含 19 个现实子类别、50 个中英文任务和 6,414 条标准,并以 Omni-ARTs 评估 18 种智能体配置;最佳系统得分 63.3/100。

    推荐理由:该基准将视频定位、外部多模态证据检索与交互式报告纳入统一评测,并呈现智能体在覆盖范围和跨模态分析上的能力差距。

  2. HF Daily Papers42

    Verus-Insight 以三阶段证据流程检测 AI 生成视频伪影

    Verus-Insight 通过检查规划、证据验证和证据聚合训练 AI 生成视频伪影检测器,并采用人工锚定的全流程监督与渐进能力训练。论文还提出带有人工标注可感知伪影的 Verus-Bench;多基准实验显示,该方法在细粒度伪影分析和视频级检测中表现较强,并能更可靠地将检查目标转化为有支持的证据,同时未增加虚假伪影断言。论文地址为 https://arxiv.org/abs/2610.30866。

    推荐理由:论文把 AI 生成视频伪影检测拆为检查规划、证据验证和证据聚合,同时提供细粒度人工标注基准,便于比较检测器的证据识别能力。

  3. HF Daily Papers36

    论文提出 FAPL,利用 MLLM 潜变量实现电影化视频的稀疏推理与因子控制

    论文提出因子感知预测学习 FAPL,通过分阶段训练让视频 DiT 更有效地利用 MLLM 潜变量,支持稀疏时间推理与因子感知的电影化控制。训练先以冻结的 MLLM 和连接器强化 DiT 的潜变量利用,再通过 factor-span replacement 学习目标因子改变与非目标保持,最后冻结 DiT 并优化 MLLM 和连接器,兼顾有限输入表示学习与完整观察重建。

    推荐理由:论文将 MLLM 潜变量利用、稀疏推理和因子控制放进同一分阶段训练框架,便于理解多模态表征如何用于电影化视频生成。

  4. HF Daily Papers41

    WorldCast:支持大角度镜头控制的世界一致角色视频生成

    WorldCast 结合 3D 点云引导与 GAMA,在大角度相机运动下准确跟随轨迹并生成几何、外观和身份一致的角色视频。GAMA 根据初始帧与多视角角色锚点估计的相对相机位姿,检索并注入视角相关角色特征。论文还发布 CLACT 大规模角色中心数据集与基准,提供准确相机几何、多视角角色观测及大角度轨迹,用于训练和评估。

    推荐理由:论文同时提供大规模数据集、基准和生成框架,覆盖大角度轨迹、几何一致性与身份保持,便于开展系统评估。

  5. HF Daily Papers52

    World-in-Context:基于上下文条件化的交互式视频世界建模

    World-in-Context 提出上下文条件化(ICC)框架,用共享自注意力中的显式 token 统一视角、动作和相机控制。World-in-Context-5B 在 WBench 上取得 81.5 的导航表现,接近 22B EchoWM 的 81.6;视角切换成功率达 93.8%,高于现有 5B 基线的 18.8%。

    推荐理由:论文用显式 token 统一视角、动作与相机控制,并在 WBench 对比 5B 与 22B 方案的导航和视角切换表现。

10月22日周四
  1. HF Daily Papers41

    RealMe 从稀疏低分辨率采集生成沉浸式体积视频

    RealMe 提出统一框架,利用高分辨率视频扩散模型将稀疏、低分辨率多视角采集增强为 2K、4D 一致的体积视频。框架采用适配多视角布局的时空注意力、布局感知位置嵌入和潜空间频域损失,以改善分辨率与时空一致性。在 DNA-Rendering 和自采 RealVV 数据集上的实验显示,其视觉保真度和 4D 一致性优于已有最先进方法。

    推荐理由:论文以高分辨率视频扩散模型、布局感知注意力和潜空间频域损失,将有限采集增强为 2K、4D 一致的体积视频。

  2. HF Daily Papers43

    ALLOT 提出按输出敏感度分配视频扩散 Transformer 块稀疏注意力的免训练方法

    ALLOT 是一种免训练方法,可在延迟预算下按层与去噪步骤分配视频扩散 Transformer 的块稀疏注意力密度,以最大化输出保真度。该方法通过 cell probing 和 trajectory calibration 估计各层与步骤组合对最终视频误差的贡献,并保留现有选择策略和 kernel,仅替换分配组件。

    推荐理由:论文将块稀疏注意力的分配从启发式规则转为输出敏感度驱动,并说明如何仅替换分配组件接入现有策略与 kernel。

  3. HF Daily Papers35

    自回归视频扩散提出 Future Chunk Prediction 辅助目标,在更低训练算力下提升物理合理性

    本文提出 Future Chunk Prediction(FCP),一种用于自回归视频扩散模型的辅助训练目标,通过在 teacher-forced 去噪之外预测时间上分离的视频片段来强化未来块监督。

    推荐理由:文章提出一种无需额外视觉编码器的辅助训练目标,在更低训练算力下提升自回归视频扩散的物理合理性。

  4. HF Daily Papers43

    视频世界模型综述以读写、共享与交互统一视频理解和生成

    这篇视频世界模型综述以世界建模为统一视角,梳理视频理解与生成围绕潜在时间状态展开的进展。论文将相关工作归为读取、写入、共享和交互四类操作,并区分时间连贯性与底层世界状态的一致性。综述指出,研究重点正从片段级识别和感知保真度转向持久状态、可控演化、物理与因果有效性,以及交互和下游决策导向的评测。

    推荐理由:这篇综述以世界建模串联视频理解与生成,并按读写、共享、交互四类操作梳理技术演进与开放问题。

  5. HF Daily Papers39

    HiP3R 通过分层位姿图实现无需再训练的长程 3D 重建

    HiP3R 通过分层位姿图把长视频的局部重建合并为全局一致的相机轨迹和 3D 几何,无需再训练或微调。方法先优化鲁棒的 chunk 级 Sim(3) 图以确定全局布局和尺度,再固定布局并为每帧估计共享的 SE(3) 相机位姿。实验覆盖多个基准,方法适用于基于 chunk 和流式后端,项目页为 https://kkakkkka.github.io/HiP3R。

    推荐理由:HiP3R 用分层位姿图整合长视频的局部重建,在无需再训练的前提下兼顾全局一致性、尺度稳定与局部误差修正。

  6. HF Daily Papers51

    DirCast:用单一流式视频语言模型完成电竞导播与实时解说

    DirCast 是一种流式视频语言模型,可仅依据过去上下文同时选择电竞直播镜头并生成实时解说。模型每秒低分辨率扫描所有摄像头,以保持或切换策略决定是否转场,再以高分辨率读取选中画面并解说;上下文保留已播画面与已生成解说,让其余视角移出,从而约束任意长度流的成本。

    推荐理由:论文把每秒选镜头与实时解说统一进单一流式模型,并提供规则系统、GPT-5、GPT-4o及11个流式解说器的对照结果。

10月21日周三
  1. HF Daily Papers48

    论文提出面向任意骨骼绑定的 3D 运动与视频联合生成模型

    论文提出一种面向任意骨骼绑定的模型,可联合生成视频与 3D 运动,并估计相机以将运动对齐到场景。模型把独立的 3D 运动模型通过少量交叉注意力层连接到预训练视频生成器,训练中使用生成式视频编辑器以及人类和机器人视频,形成 nearly 200K 训练对。

    推荐理由:论文比较了任意骨骼动画中联合生成与视频优先方案的差异,评测重点落在文本驱动忠实度与场景响应。

  2. HF Daily Papers72

    Matrix-Game 4.0 利用视频模型构建实时可玩游戏世界

    Matrix-Game 4.0 通过可执行游戏引擎与自回归视频渲染器分离游戏逻辑和视觉合成,实现低延迟的实时交互游戏世界。轻量引擎维护世界状态并执行交互规则,多模态编码 Agent 将玩家想法转为游戏代码和动态场景描述,渲染器则把低多边形代理画面生成细致视觉。

    推荐理由:论文将可执行游戏引擎与自回归视频渲染器解耦,并披露延迟、帧率和显存数据,便于对照评估实时交互方案。

  3. HF Daily Papers44

    SolarRenderer:少步生成式参考渲染

    SolarRenderer 用冻结的 MiniMax-H3 33B 视频骨干模型和两个轻量 LoRA,实现从多样结构输入到逼真视频的四步或实时流式渲染。通过结构引导分布匹配实现四步渲染,速度比 50 步采样快 12.3 倍;块因果变体支持实时渲染 768p 视频。

    推荐理由:论文同时给出四步渲染比 50 步采样快 12.3 倍的对比、136K 片段训练规模和跨结构泛化结果,便于比较其渲染路线与控制能力。

  4. HF Daily Papers46

    FRED 通过自蒸馏与时序条件增强世界动作模型的未来视频表征

    FRED 通过自蒸馏与历史观测时序条件,提升世界动作模型从单步去噪中生成的未来视频表征。在多种真实世界操作场景中,FRED 优于对比 WAM;在仅有人类视频示范、未进入机器人训练数据的任务上,任务成功率达到 50.0%,最佳对比 WAM 为 19.4%。论文地址为 arxiv.org/abs/2610.30320。

    推荐理由:论文在长时程、域外任务与人类视频迁移场景中给出对比,未见机器人训练数据的任务成功率为 50.0%,最佳对比 WAM 为 19.4%。

  5. HF Daily Papers65

    codec4AI 重构 AI 训练视频存储,解耦跨帧依赖提升随机帧访问效率

    北京大学高文团队提出 codec4AI,以稀疏解码和依赖解耦编码提升 AI 训练视频的随机帧访问效率。论文在 LeRobot v3 配置下评测,DDRA H.265 在重建质量可比时使媒体载荷减少 58.7%,数据加载吞吐量达到 1.45×。单独实验显示,在合适压缩设置下,下游 VLA、WAM 和 VLM 性能可比;论文、代码和文档均已公开。

    推荐理由:论文针对视频训练中的随机帧访问,比较依赖解耦编码与稀疏解码在存储占用和数据加载吞吐量上的表现。

  6. HF Daily Papers39

    CausalAlign 通过因果对齐提升视频生成模型的相机自我运动一致性

    CausalAlign 提出一种因果对齐框架,在 delta-token 空间中把扩散视频生成模型的内部表征与 3D 动态对齐,以提升长时程相机自我运动的一致性。

    推荐理由:论文先定位去噪过程中自我运动表征的先升后降模式,再给出基于 delta-token 空间的 3D 动态对齐方法与量化结果。

10月20日周二
  1. HF Daily Papers48

    Stateful Harness:将规则执行与像素生成分离的交互式世界模型框架

    论文提出 Stateful Harness 框架,把基于规则的世界状态演化与冻结的视频生成模型分离,以在含隐藏状态的交互式世界模型中保持规则一致性。作者构建了包含 50 对反事实双胞胎的 WorldState-Bench 基准,评估 11 个视频后端。在仅用规则提示时最好的对子成功率只有 32%;指定期望结局后该指标提升到 64%,完整框架在同一冻结模型上达到 92%。

    推荐理由:将规则执行与视频生成分离的框架思路,可迁移到其他需要长期状态一致性的交互式生成场景,并附带评测基准。

  2. HF Daily Papers45

    DeOverlay:源锚定流视频遮挡物去除方法与 DVTE-Bench 基准

    DeOverlay 提出基于源锚定流匹配和可见性归一化时序聚合的视频遮挡物去除方法,可在源信息被遮挡时仍恢复底层场景结构。配套 DVTE-Bench 包含 1631 对视频、覆盖 8 类文字遮挡,实验显示 DeOverlay 在 5 项重建与感知指标上优于 4 个基线,Mask LPIPS 和 Mask VFID 相对最强基线分别下降 58.3% 和 70.3%。

    推荐理由:原文提供了新方法和 DVTE-Bench 基准,同时给出相对四项基线的量化结果,便于和已有视频去遮挡方案横向对比。