跳到正文
  1. The Decoder51

    Google 团队提出 StreamVibe,让视频 AI 判断何时主动提供帮助

    Google 牵头的研究团队提出 StreamVibe 视频智能体,可通过视频理解明确、未言明及执行中变化的意图,并判断何时主动开口。团队以超过183小时的日常与软件录制构建约4,100个样本的基准,由Gemini 2.5 Flash提出帮助时机和内容,再由4名人工评估者一致认可。

    推荐理由:研究用约4,100个样本检验视频智能体的主动帮助能力,并以长视频连续交互揭示回应时机、任务记忆和意图变化的累积误差。

  1. HF Daily Papers58

    L3G-World:基于潜空间3D Gaussian记忆的实时无限世界生成

    L3G-World 通过潜空间3D Gaussian记忆与视频扩散Transformer交替自回归更新,实时生成空间一致、可交互的无限世界。记忆规模随场景范围而非生成流长度增长,每个Gaussian还存储VAE潜特征,可直接渲染到DiT潜空间而无需VAE重新编码。

    推荐理由:论文给出潜空间3D Gaussian记忆与视频扩散Transformer交替更新的实时世界生成方案,并以9 FPS及相对基线的效率对比展示实现路径。

  1. HF Daily Papers53

    Wizard:通过智能体控制实现任意世界的实时操控

    Wizard 提出一种面向世界模型的智能体控制方法,将角色动画、场景操控和玩法逻辑与视觉生成解耦。该方法通过结构化视觉代理控制角色骨架和场景几何,并以显式世界状态支持自适应 Boss 行为和符合机制的战斗。训练数据包含 50.3 小时代理—视频对,覆盖 750 个场景和 178 个角色,配合少步蒸馏实现 24 FPS 交互,并可零样本泛化到未见场景、角色和动作,代码即将推出。

    推荐理由:Wizard 将角色动画、场景操控和玩法逻辑与视觉生成解耦,并以 24 FPS 实时交互展示了扩展世界模型动作控制的方法。

  1. HF Daily Papers49

    VibeVideoBench:评测多模态智能体的代码驱动视频生成能力

    VibeVideoBench 提出一个评测多模态智能体代码驱动视频生成能力的基准,包含239项中英文自包含任务和12个类别。每项任务要求智能体在无图像或视频生成模型的沙箱内用代码产出带声音的 MP4,并在1小时内完成;评估结合交付规范程序检查、约13k项任务量规和3个VLM评审组。

    推荐理由:该基准覆盖239项中英文任务,并用分层量规与人类偏好对照,揭示智能体常因时间管理影响最终视频交付。

  2. HF Daily Papers50

    CodeCap-Bench 论文提出以代码作为视频字幕的评测基准

    CodeCap-Bench 论文提出以可执行代码作为视频内容的补充表示,并推出评测多模态模型代码字幕生成能力的基准。该基准包含323个视频、五类结构化2D内容、细粒度标注和多层级评测框架。实验显示,代码字幕在问答推理准确率和视频重建保真度上优于自然语言字幕,但领先专有模型仍难以忠实呈现复杂时序,开源模型明显落后。

    推荐理由:论文用323个视频和五类结构化2D内容构建基准,并同时比较问答与视频重建结果,便于比较模型在复杂时序描述上的差异。

  3. HF Daily Papers55

    Hy-Nomas:面向自由形式交互式世界生成的视频世界模型

    Hy-Nomas 提出一种采用 8B 扩散骨干的视频世界模型,可依据多轮自由文本指令和连续镜头控制生成可变长度片段。模型结合结构化视频描述与动作感知因果注意力,在保留交互历史和动作后果的同时限制动作的作用窗口;视觉语言 Prompt Enhancer(PE)会将用户请求和多模态交互历史转换为下一片段的结构化条件。论文还公开模型权重、代码、基准和轻量适配流程,人工评测显示其表现优于现有世界模型。

    推荐理由:论文将多轮指令、历史缓存和动作时间窗约束整合进 8B 扩散骨干的视频世界模型,并公开代码与基准,为复现交互式生成研究提供技术路径。

  4. HF Daily Papers40

    ThinkWorld 通过世界想象强化链式动力学推理

    ThinkWorld 提出 Vision-Language-Action(VLA)学习框架,将动作推理置于世界动力学中,并通过世界想象强化学习利用无动作标注的人类视频。

    推荐理由:ThinkWorld 用动作标注初始化 CoD,再以世界想象强化学习利用无动作标注的人类视频,为机器人跨本体迁移提供可复用方法。

  5. HF Daily Papers35

    LociArt 提出统一范式实现自由风格局部视频风格化

    LociArt 提出统一范式,通过生成式细化网络实现自由风格的局部视频风格化,并保持非目标内容与较强的时间一致性。GRNStyle 引入极坐标风格感知掩码及表示—几何条件控制,结合自动化数据管线构建包含 100K 个局部风格化配对的 LociArt-100K Dataset。

    推荐理由:LociArt 将区域风格控制、自动化配对数据构建与专用基准整合到统一框架,便于对照评估局部风格化质量、非目标保留和时序稳定性。

  6. HF Daily Papers48

    WeVisCut:单智能体统筹从旁白到长视频的完整剪辑流程

    WeVisCut 研究提出一套脚本转长视频系统,用单一 9B 策略协调视频编辑工具、维护共享制作状态并恢复失败。四阶段数据管线结合编辑反演与验证回放,基于 3,750 个成片生成超过 130K 个训练样本,并提出 100 项任务和 5 项指标。

    推荐理由:该研究把长视频编辑决策、故障恢复与 token 成本纳入同一 9B 策略,呈现任务专用智能体在质量与效率上的取舍。

  7. HF Daily Papers47

    AskStream 基准:流式视频理解在不确定性下何时主动提问、问什么

    研究团队提出 AskStream 多轮基准,用于评估流式视频理解模型在不确定性下主动询问缺失信息的能力。该基准覆盖视频和用户两类不确定性,包含 4 类任务、8 个子任务、438 个视频及 2,714 个人工标注的帧级时间窗口,动作分为等待、提问和回答。在选择题和开放式设置中,最强模型的 Ask-F1 也仅为 52.18%,反映出模型主动寻求信息能力的局限。

    推荐理由:AskStream 将流式视频交互拆分为等待、提问和回答三类动作,并用多轮数据呈现模型主动补全信息的关键难点。

  1. HF Daily Papers41

    StreamVibe:面向持续变化用户意图的主动视频智能体

    StreamVibe 提出面向主动视频交互的研究方案,包含基准、流式视觉语言模型和分层记忆框架,用于理解显式、隐式及持续变化的用户意图。StreamVibe-Bench 包含 4.1K 个评测样本和 85K 个训练样本,覆盖显式、隐式和动态意图。

    推荐理由:论文将基准、流式模型与分层记忆框架整合为一套主动视频交互方案,并报告响应时机、答案质量和持续适应方面的量化结果。

  2. HF Daily Papers38

    FrameForge 利用视频基础模型先验实现统一条件图像生成

    FrameForge 动态选择不同虚拟间隔的时序 RoPE 专家,并通过潜在中间状态建模条件到目标的变换,实现统一条件图像生成。该方法以 Mixture of Temporal Experts(MoTE)和 Chain of Temporal Reasoning(CoTR)分别建模条件与目标的时序距离及变换路径,建立在预训练视频模型之上。

    推荐理由:FrameForge 将视频模型的动态时序先验用于统一条件图像生成,并用 MoTE、CoTR 和三项基准对比展示多任务表现。

  1. HF Daily Papers41

    MatAnyone-E 通过稀疏记忆传播加速高分辨率视频抠图

    MatAnyone-E 通过仅在高分辨率下匹配不确定区域并采用轻量解码器,实现估计 7.4 倍的推理加速,同时保持与 MatAnyone 2 相当的抠图质量。它先以低分辨率传播定位不确定区域及相关记忆候选,再只对这些区域进行高分辨率匹配,其他位置复用低分辨率结果。

    推荐理由:MatAnyone-E 将高分辨率匹配限制在不确定区域,并用轻量解码器降低开销,给出 7.4 倍推理加速和 4K 峰值 GPU 内存对比。

  2. HF Daily Papers49

    VMem-Bench 受控研究:长视频生成中的视觉记忆越多越好吗?

    VMem-Bench 受控研究发现,检索视觉记忆能提升长视频的历史一致性,却会降低当前叙事准确性。研究以 92 部真实影片的 16,548 个片段和 30 个因果生成故事的 2,824 个片段开展双轨诊断,比较四种检索策略及无记忆、末次出现对照。

    推荐理由:双轨对照显示,检索视觉记忆虽提升实体召回与历史相似度,却降低当前叙事精度和对禁用实体的规避能力,揭示记忆评估中的关键混淆。

  3. HF Daily Papers38

    OmniShowcase 基于多视图图像实现全向主体一致性视频生成

    OmniShowcase 通过几何驱动的训练数据和表面法线图条件,改善从多视图参考图像生成特定主体视频时的新视角主体身份与 3D 一致性。

    推荐理由:论文将几何驱动的数据合成与表面法线条件结合,配套构建 Showcase-4K 和 ShowcaseBench,便于复现并比较跨视角主体一致性表现。

  1. HF Daily Papers57

    AV-FABLE提出长视频音视频篡改取证基准与NFSR方法

    AV-FABLE提出面向长视频稀疏篡改的双时间线音视频取证基准,并以NFSR通过分离的音频与视觉时间解码器读取冻结AV-LLM特征。基准包含 16,650 对原始与篡改孪生视频,共 998 小时和 27 种编辑配置,支持音频与视觉的独立时间定位。

    推荐理由:AV-FABLE对比零样本提示与冻结特征读出,展示分离时间解码器在长视频音视频篡改定位上的取证优势。

  2. HF Daily Papers47

    AnyGameRenderer:跨游戏保持实体一致的生成式渲染与实体级基准

    AnyGameRenderer 将 AI 智能体制作的低质量游戏视频转换为高质量画面,并保持布局、镜头及实体位置与时序一致。模型通过 LoRA 微调 33B 的 MiniMax-H3 ref2va 实现,训练数据来自 38 款 AI 智能体制作游戏、Unreal Engine 渲染和真实游戏录像,兼容灰盒、彩色几何体、语义图与线框输入。

    推荐理由:论文同时披露模型训练数据、输入形式和实体级基准结果,为评估视频生成模型能否保持动态场景实体对应提供参照。

  3. HF Daily Papers36

    FilmFlow:用于 3D 虚拟电影摄影的智能体系统

    FilmFlow 将自然语言指令或参考视频转换为动态 3D 场景中的可执行相机轨迹。Director 智能体组合平移、旋转和构图等原子操作,Interpreter、Scout、Critic 分别解析意图、选择初始视角并提供迭代反馈。

    推荐理由:FilmFlow 将导演、意图解析、勘景和审片四类智能体串联,并以 150 个 Blender 场景的 CinemaBench 覆盖文本与视频参考两种生成方式。

  1. HF Daily Papers45

    OmniDR-Bench 评测生成视频中心深度研究报告的智能体

    研究者提出 OmniDR-Bench 和技能工作流,用于评测智能体围绕视频综合外部证据并生成关联视频时刻的交互式报告。该基准包含 19 个现实子类别、50 个中英文任务和 6,414 条标准,并以 Omni-ARTs 评估 18 种智能体配置;最佳系统得分 63.3/100。

    推荐理由:该基准将视频定位、外部多模态证据检索与交互式报告纳入统一评测,并呈现智能体在覆盖范围和跨模态分析上的能力差距。

  2. HF Daily Papers42

    Verus-Insight 以三阶段证据流程检测 AI 生成视频伪影

    Verus-Insight 通过检查规划、证据验证和证据聚合训练 AI 生成视频伪影检测器,并采用人工锚定的全流程监督与渐进能力训练。论文还提出带有人工标注可感知伪影的 Verus-Bench;多基准实验显示,该方法在细粒度伪影分析和视频级检测中表现较强,并能更可靠地将检查目标转化为有支持的证据,同时未增加虚假伪影断言。论文地址为 https://arxiv.org/abs/2610.30866。

    推荐理由:论文把 AI 生成视频伪影检测拆为检查规划、证据验证和证据聚合,同时提供细粒度人工标注基准,便于比较检测器的证据识别能力。