跳到正文
10月20日周二
  1. HF Daily Papers36

    Manga2Animate:基于创作-评审双智能体的漫画动画生成框架

    Manga2Animate 提出一个多智能体框架,把漫画改编为动画的过程拆成动画脚本和视觉分镜两个中间表示,分别由创作智能体生成、由评审智能体对照原画面把关,再合成最终动画。作者针对两类表示设计筛选与双层反馈逐步迭代;实验与用户研究显示其结果在忠于原作和跨镜头一致性上优于当前最佳方法。项目页:annchenn.github.io/Manga2Animate

    推荐理由:指出直喂分镜页和仅靠文本这两条已有路线的局限,给出创作评审双智能体配合中间表示这一可迁移方案。

  2. HF Daily Papers40

    ScaleNav 通过互联网视频预训练实现语言条件局部导航

    ScaleNav 提出统一的世界—动作框架,利用互联网第一视角视频学习目标导向视觉动态,并据此生成语言条件局部导航所需的机器人动作。训练分为指令条件视频预训练、使用带动作标签的仿真数据进行动作对齐,以及联合微调三个阶段。

    推荐理由:论文把互联网第一视角视频预训练、仿真动作对齐与联合微调串成三阶段流程,并给出仿真基准及真实四足机器人部署结果。

  3. HF Daily Papers45

    Code2Video-Compass:覆盖 T2V、I2V 和 V2V 的通用代码式视频生成基准

    Code2Video-Compass 是覆盖 T2V、I2V 和 V2V 的通用代码式视频生成基准,要求 MLLM 将视觉与时间需求转为可执行程序。它包含 2,104 个任务,覆盖 10 个类别、24 个子类型及构造、动态动画和状态依赖 3 个复杂度维度,并结合 12 项客观指标与 5 项主观指标评分。

    推荐理由:该基准用统一任务和双层指标覆盖三类视频输入,便于比较不同 MLLM 在复杂、状态依赖任务中的生成与对齐表现。

10月19日周一
  1. HF Daily Papers43

    StreamingSwap 提出从短片段到实时视频流的身份感知监督与上下文高效视频换脸生成

    论文提出 StreamingSwap,一种基于流匹配的实时视频换脸框架,在单张 NVIDIA RTX 4090 GPU 上实现稳定 20 FPS 生成。

    推荐理由:论文将身份重建损失、空间 token 缩减和短上下文训练组合到实时换脸流程中,并报告单卡 RTX 4090 上稳定 20 FPS、最长 10 分钟视频的实验结果。

  2. HF Daily Papers35

    SpecKCast 通过频域 Kalman 预测加速扩散模型推理

    SpecKCast 提出无需训练的扩散模型推理加速方法,以 2D DCT 分解输出,并用逐频带 Kalman 滤波和自适应步长调度预测跳步结果。在 FLUX.1-dev、Qwen-Image、Wan2.1-14B 和 HunyuanVideo 上,该方法最高实现 6x 加速,额外内存低于 0.05 GiB,较现有缓存和预测方法呈现更好的加速与保真度权衡。

    推荐理由:论文将频域分带 Kalman 预测与不确定性触发的自适应跳步结合,为扩散模型缓存优化提供了一种可迁移的方法。

10月18日周日
  1. 量子位61

    VAST 开源实时世界模型 EdenLive,单消费级显卡 720P 超 24FPS

    VAST 开源实时世界模型 EdenLive,5B 模型在单张 RTX 5090、720P 条件下生成速度超过 24FPS,端到端延迟为百毫秒级,支持任意参考输入、任意画风和分钟级连续生成。

    推荐理由:原文给出了单卡 720P 超 24FPS 与百毫秒级端到端延迟的具体数据,并拆解了世界状态与视觉渲染解耦的技术路线,便于读者评估实时世界模型的可用边界。

  2. HF Daily Papers38

    Painting Change Map:用于控制绘画视频生成的时空引导机制

    作者提出 Painting Change Map,一种用于控制艺术创作视频生成的时空引导机制,在 1,000 步时间轴上跟踪局部结构变化并将视觉差异编码到 RGB 空间,可分别对正向绘制和逆向擦除过程进行细粒度引导。论文在基准对比中超过现有控制方法,并在 oracle 条件下显著领先全部基线,代码已在 GitHub 开源。

    推荐理由:论文提出新的时空控制信号并开源了代码,相关方向的读者可以据此复现并扩展到自己的视频生成管线。

  3. HF Daily Papers36

    TCoVP 提出时空锚定的视频推理分割方法

    TCoVP 提出一种时空锚定的视频推理链,将实体与带时间戳的空间证据关联,用于定位隐式描述的目标并预测其像素级掩码轨迹。该方法按时间顺序组织查询相关观察,把语言与实体引用交织在推理链中,选中的目标基元再提供框提示和时间支持。

    推荐理由:TCoVP 按时间顺序串联实体、时间戳与跨帧空间证据,展示了在视频分割中显式连接语言推理与视觉证据的方法。

10月16日周五
  1. HF Daily Papers37

    Velox:用空间记忆让视频世界模型更高效

    Velox 提出一种无需训练的注意力路由方法,通过几何视锥块匹配为长视频扩散生成筛选历史 KV 缓存,保留视觉连贯性。在 chunk 48 时,注意力加速 4.36 倍,去噪加速 2.43 倍;在 158 例 WBench navigation 划分上,与稠密 LingBot-Fast-Cam 的平均分差仅 0.15 个 API-free 点。

    推荐理由:论文给出了无需训练的注意力路由方案,以及在 WBench 上的速度与画质数字,便于横向比较长视频生成的工程取舍。

  2. HF Daily Papers36

    Routing Policy Optimization:把注意力路由转为随机探索的扩散模型强化学习方法

    RPO(Routing Policy Optimization)把注意力路由作为随机探索动作引入扩散生成器,使其在不改变原始确定性采样器的前提下完成在线强化学习对齐。

    推荐理由:原文给出相比 Flow-GRPO 类方法近 4 倍的训练效率提升和完整的路由机制描述,便于与 rollout 扰动类扩散 RL 方法做对比。

  3. HF Daily Papers38

    执行先于记忆:诊断视频世界模型中的记忆失败

    该论文提出 MIST 评测,把场景搭建与指令执行拆开,用来定位视频世界模型中记忆失败的瓶颈;并提出 M3-Agent,通过递归修正输入指令的细节来推动模型执行指令。在 MIST reveal 指标上,M3-Agent 相对基线提升超过三倍;在 WRBench 上 score T 提升 26.1%,MBench-T 上 score U 提升 52.7%。

    推荐理由:原文把场景搭建与指令执行拆开定位视频世界模型的记忆瓶颈,并给出 M3-Agent 修正指令细节的具体方法与基准提升幅度。

10月15日周四
  1. HF Daily Papers46

    ATAS:面向长程智能体视频生成的时空一致性框架

    ATAS 框架针对长程智能体视频生成中的跨镜头时空一致性问题,将剧本分解为带位置、镜头和事件时间标注的镜头请求,并在生成前从静态几何场景记忆和按场景/事件/时间索引的事件记忆中检索证据。

    推荐理由:原文提出可同时处理跨镜头空间一致性和事件回放的生成框架,并在多个视频生成器基座上验证了一致性提升。

  2. HF Daily Papers38

    OmniXRef:支持文本、图像与视频多参考的统一视频编辑框架

    OmniXRef 提出一个统一的多模态多参考视频编辑框架,允许用户在源视频上同时叠加可变数量的文本、图像与视频参考,分别控制主体外观、相机运动等不同属性。其模型 OmniXRef-Model 采用单流扩散 Transformer,将源视频与来自 MLLM 的多模态上下文在交错序列中联合处理,并引入 R^2-RoPE 位置编码以增强对更多参考的泛化能力。

    推荐理由:原文提出统一框架同时接收文本、图像、视频三类参考来控制视频编辑,并给出专用训练数据和评测基准,对多模态可控视频生成有方法参考价值。

  3. HF Daily Papers47

    Event-STVG:面向长视频事件推理的时空视频定位基准

    Event-STVG 提出长视频事件推理的时空视频定位任务与大规模基准,将重复事件区分、事件定位、角色推断和多目标定位纳入统一评测。基准覆盖足球及另外7个领域,共标注4,016次事件出现;最强模型在10分钟跨度上的 m-vIoU 仅为5.4%,并持续混淆重复同类事件。代码与标注地址为 https://github.com/THU-KEG/Event-STVG。

    推荐理由:基准将重复事件区分、角色推断和多目标时空定位放在同一任务中,便于比较 MLLM 在长视频事件理解上的细粒度能力差异。

10月14日周三
  1. HF Daily Papers40

    FlashVSR+ 通过混合注意力与奖励分布匹配蒸馏提升视频超分辨率效率与质量

    FlashVSR+ 在架构上引入混合注意力、在训练上提出 Ry-DMD 奖励分布匹配蒸馏,实现更高效的偏好对齐视频超分。架构侧相对 DiT 最高提速 2×、峰值显存降低 45%,单张 24GB RTX 4090 即可完成无空间分块的 4K 视频超分;训练侧通过奖励加权教师 rollout 将黑盒奖励引入分布匹配,无需经过奖励模型反向传播,且方法可迁移到 T2I 生成。

    推荐理由:在 DiT 基线之上获得最高 2× 提速与 45% 显存下降,并提出把黑盒奖励引入分布匹配蒸馏的 Ry-DMD 方案。

  2. HF Daily Papers43

    DeltaStreamer:面向流式视频理解的类人智能体

    DeltaStreamer 是一个面向流式视频理解的开源智能体,可持续观察视频并在问题到达时按需回溯画面,代码与交互 demo 已在 GitHub 开源。它结合三项能力:对比相邻帧记录场景变化与描述、将视觉证据组织为带索引的结构化记忆、按需检索并重访原始帧。

    推荐理由:原文给出了面向持续视频流的代理框架,强调可按需回溯画面与结构化记忆,并附有开源代码与可交互 demo。

  3. HF Daily Papers38

    Speculative Sampling:交互式视频生成的低延迟推理方法

    本文提出 Speculative Sampling 推理方法,在自回归视频生成中保留大双向注意力窗口建模能力的同时保持小窗口的低延迟交互。该方法无需训练和 Self-Forcing 风格的后训练,应用在 MiniMax H3 上一次采样 5 秒视频,端到端响应延迟约 1.4 秒,可直接集成到任意交互式视频生成系统中。

    推荐理由:原文提出无需训练的 Speculative Sampling 推理方法,把双向注意力窗口大小与低延迟约束解耦,可供交互式视频生成团队参考工程取舍。

  4. HF Daily Papers45

    Orbia:生成视频能否构成一致的 3D 世界?

    Orbia 提出一个系统性评估交互式视频世界模型 3D 一致性的基准,涵盖输入保持、生成内容持久性和 3D 自一致性三个维度。该基准包含室内外 720 个实例、六种探索-重访协议以及分钟级长程探索,对 27 个文本、动作和相机条件模型进行了评测,指出视觉逼真且吸引人的帧不一定对应一致的 3D 世界,可为诊断 3D 不一致和开发更持久的视频世界模型提供基础。

    推荐理由:Orbia 是面向交互式视频世界模型的系统 3D 一致性基准,通过受控探索和重访协议评测 27 个模型,可用于诊断生成视频在三维层面的一致性缺陷。

  5. OpenAI News43

    Higgsfield 借助 GPT-6 Astra 将 AI 视频时长从 1 分钟提升到 10 分钟以上

    Higgsfield 借助 GPT-6 Astra 将 AI 视频生成时长从 1 分钟提升到 10 分钟以上,同时接入 GPT-Image-2.5 提升画面精度,并探索 GPT-Live 在语音电影制作方向的应用。

    推荐理由:原文给出视频时长从 1 分钟延长到 10 分钟以上的具体幅度,并提及语音电影制作方向,读者可据此评估生成能力的边界。

10月13日周二
  1. HF Daily Papers44

    WorldMemBench:评估视频世界模型记忆能力的综合基准

    WorldMemBench 是一个用于评估视频世界模型记忆能力的新基准,通过 260 个测试用例检验模型在多次重访中对静态外观/几何与动态状态演化的记忆保持。研究还评测了 9 个代表性模型,发现强静态记忆并不必然带来可靠的动态状态演化,多次重访时记忆会出现进一步退化。

    推荐理由:WorldMemBench 用 260 个测试用例系统评估视频世界模型的静态与动态记忆能力,为诊断记忆失效提供可复用的测试床。

10月12日周一
  1. HF Daily Papers40

    Multics:基于分层通信的生成式多玩家世界模型

    论文提出 Multics,一种面向多玩家交互仿真的视频生成框架,通过玩家、群组、全局三层分层通信结构降低自注意力成本并抑制无关事件间的相互干扰。群组 token 跨组共享参数,配合基于近期相机轨迹的预算受限动态分组,在 4 与 6 玩家场景取得 SOTA,并能从未经重训直接泛化到 6、8、10 玩家推理。

    推荐理由:提出分层通信的多玩家世界模型框架,用群组 token 降低自注意力开销并支持训练规模之外的推理,可作为生成式交互仿真的方法参考。

  2. HF Daily Papers36

    VEDJE:面向可扩展视频文本检索的高效判别联合编码器

    VEDJE 用 33M 参数联合编码器在压缩缓存上做视频文本检索,在 MSR-VTT 上以约 49× 更少在线参数达到 59.8 R@1。每段视频压缩至 48 KiB,约为原始视觉特征的 1/128.5,并在匹配的首阶段检索器上额外提升 3.6–7.2 R@1。作者还引入特征变化预测目标以改善检索精度,代码与 Colab 演示已开源。

    推荐理由:用一次性视频压缩配合轻量联合编码器替代完整视频重编码,给出了可复现的开源实现和多模态检索的工程取舍。

10月10日周六
  1. HF Daily Papers37

    LightVAE:面向紧凑高效的视频自编码器

    LightVAE 是一个视频 VAE 压缩框架,通过将 Conv3D 层重参数化为聚合空间响应与差分驱动的时序校正,并对时序部分做低秩近似,再结合宽度保持的块剪枝和探测引导的特征对齐来恢复画质。

    推荐理由:提出针对视频 VAE 的 Conv3D 重参数化和时序低秩压缩方法,在多种 VAE 骨干和两代 GPU 上给出具体加速数据,便于与现有高效解码器对比。

10月9日周五
  1. HF Daily Papers37

    OmniCapBench 面向细粒度音视频字幕的多层级诊断评测基准

    研究团队发布音视频字幕评测基准 OmniCapBench,把预测目标从自由文本改为可验证的原子单元,覆盖实体指代、视觉镜头和音频事件三条轨道。基准包含 786 个密集标注视频,通过确定性约束检查和局部语义对比定位 MLLM 在时间对齐、身份漂移、跨模态错位和幻觉描述上的具体错误。评测前沿 MLLM 显示其局部感知较强,但长程音视频推理明显偏弱,尤其在身份漂移和跨模态错位上问题突出。

    推荐理由:该基准把音视频字幕评估拆成三条可验证轨道,能精确定位 MLLM 的具体感知错误,为全模态模型的改进提供可迁移的诊断路径。

  2. HF Daily Papers32

    GeoFix:面向 4D 一致性生成的几何修复方法

    GeoFix 提出了一种统一框架,仅用单一几何奖励即可在训练和推理阶段提升视频扩散模型的 4D 生成质量,规避了现有方法在纹理和细节上的退化。该方法通过评估静态场景区域的跨视角深度一致性,并针对相机视场重叠带来的偏差进行奖励校准。实验显示,GeoFix 使 WorldScore 3D consistency 提升 39%,VBench Quality Score 提升 4%。

  3. OpenAI News26

    Pollo AI 借助 OpenAI 模型将创意转化为营销活动

    Pollo AI 基于 GPT-5.6、GPT-6 Astra 和 GPT-Image-2.5 推出 Pollo Agent 与 Photo to Video Ads,把创作者创意转化为成片图像和视频广告。平台已服务超 2600 万用户,30% 的创作者会话从视频模板起步,用户切换模型的时间减少超 50%。Pollo AI 计划未来 12 个月内让 AI 视频成为日常内容创作的常规环节。

10月8日周四
  1. 量子位56

    生数科技开放Vidu Q4预览版视频生成模型,实测720P档每秒低至0.09元

    生数科技开放Vidu Q4预览版视频生成模型,主推人物演绎、镜头语言和视效场面三项能力,最高支持4K直出、单条最长16秒,最多支持15张参考图和3段参考音频。MaaS端720P约0.6元/秒、1080P约0.75元/秒,SaaS端预览版推出两个月限时优惠、部分场景可低至0.09元/秒。量子位实测做了6个共约110秒的视频,720P档总成本不到10元。

    推荐理由:原文给出新模型的实拍定价和多场景对比,读者可以据此评估它在视频生成成本与表现力上的实际位置。

  2. HF Daily Papers41

    DiffusionART:面向扩散模型的高效稳定可扩展强化学习方法

    论文提出 DiffusionART,一种无需可微奖励和逐任务调参的扩散模型在线强化学习微调方法,支持配对奖励模型 DiffusionART-Pairwise。

    推荐理由:它提出一种无需奖励可微、无需逐任务调参的扩散模型 RL 微调方法,并以 HunyuanVideo-13B 上大幅领先 DiffusionNFT 和 Flow-GRPO-Fast 的 GPU 时间和奖励作为迁移参考。

  3. HF Daily Papers50

    SepGen:单模型实现多音轨音视频分离与生成

    SepGen 扩展预训练音视频生成器,在一次联合采样中同时输出视频、混合音轨以及按字幕逐个声源的波形,支持生成和分离两种互补模式。在给定音频混音和带台词字幕时,SepGen 在语音场景下优于语言条件分离器,且在字幕去掉台词后仍保持领先。代码、检查点与数据集已发布在 https://sepgen.github.io 。

    推荐理由:SepGen 在一次采样中同时输出视频、混合音轨和各声源波形,并给出可与语言条件分离基线直接对比的语音场景实验结果。

10月7日周三
  1. HF Daily Papers41

    VIS-Ground:面向视频交互式叙事的上下文接地方法

    VIS-Ground 把视频交互式叙事中的异构输入转成可执行的生成约束,包含 Structured Context Abstraction、Generation Constraints Induction 与 Constrained Video Generation 三个模块,分别完成上下文抽象、约束归纳与约束执行。

    推荐理由:把观众请求、叙事源与已渲染状态统一转成可执行约束,可作为交互式视频生成接地方案的方法参考。

10月2日周五
  1. HF Daily Papers30

    DuoMatching:面向少步视频生成的联合-边缘分布匹配框架

    DuoMatching 提出面向少步视频生成的分布匹配框架,通过统一的联合-边缘公式近似真实视频分布,并由图像生成器提供帧级监督。框架引入 LatentBridge 解决视频学生模型与图像教师模型的潜空间表征差异,并借助 Latent Variation Sampling 将帧级监督分布到不同时间片段。实验显示其在视觉质量、构图与语义对齐上均有提升,人类偏好率在所有对比基线上超过 80%。

9月30日周三
  1. HF Daily Papers34

    LOCI:面向流式世界模型的空间线性记忆架构

    LOCI 是一种面向视频世界模型的混合空间记忆架构,将 KV cache 与循环线性注意力记忆结合。记忆读写由投影相机几何条件驱动,在 MIND 基准和留出轨迹上比同类世界模型与 full softmax 更忠实地复现重访内容;满历史场景下峰值内存降低约 30%,有界记忆库下可恒定内存流式处理长视频。

9月29日周二
9月27日周日
  1. HF Daily Papers33

    MinkowskiPE:面向时空感知的闵可夫斯基位置编码

    MinkowskiPE 提出一种结合闵可夫斯基几何与洛伦兹变换的位置编码方法,用联合时空坐标变换 query 与 key 特征,使注意力分数仅依赖 token 间的相对时空位移,兼具时空平移不变性与 FlashAttention 兼容性。该方法不假设物理系统遵循相对论动力学,仅作为表示层几何归纳偏置,在蛋白-配体分子动力学和 KTH 视频预测两类差异显著的任务上均取得一致性能提升。

9月24日周四
9月23日周三