跳到正文

技术方向

AI 视频 最新动态

AI 生成和理解视频:文生视频模型、视频编辑工具,以及影视创作的新做法。

144 条精选近 30 天 135 条共收录 164 条

更新

精选归档 · 第 6 页

10月15日周四第 101–120 条
  1. HF Daily Papers38

    OmniXRef:支持文本、图像与视频多参考的统一视频编辑框架

    OmniXRef 提出一个统一的多模态多参考视频编辑框架,允许用户在源视频上同时叠加可变数量的文本、图像与视频参考,分别控制主体外观、相机运动等不同属性。其模型 OmniXRef-Model 采用单流扩散 Transformer,将源视频与来自 MLLM 的多模态上下文在交错序列中联合处理,并引入 R^2-RoPE 位置编码以增强对更多参考的泛化能力。

    推荐理由:原文提出统一框架同时接收文本、图像、视频三类参考来控制视频编辑,并给出专用训练数据和评测基准,对多模态可控视频生成有方法参考价值。

  2. HF Daily Papers47

    Event-STVG:面向长视频事件推理的时空视频定位基准

    Event-STVG 提出长视频事件推理的时空视频定位任务与大规模基准,将重复事件区分、事件定位、角色推断和多目标定位纳入统一评测。基准覆盖足球及另外7个领域,共标注4,016次事件出现;最强模型在10分钟跨度上的 m-vIoU 仅为5.4%,并持续混淆重复同类事件。代码与标注地址为 https://github.com/THU-KEG/Event-STVG。

    推荐理由:基准将重复事件区分、角色推断和多目标时空定位放在同一任务中,便于比较 MLLM 在长视频事件理解上的细粒度能力差异。

10月14日周三
  1. HF Daily Papers40

    FlashVSR+ 通过混合注意力与奖励分布匹配蒸馏提升视频超分辨率效率与质量

    FlashVSR+ 在架构上引入混合注意力、在训练上提出 Ry-DMD 奖励分布匹配蒸馏,实现更高效的偏好对齐视频超分。架构侧相对 DiT 最高提速 2×、峰值显存降低 45%,单张 24GB RTX 4090 即可完成无空间分块的 4K 视频超分;训练侧通过奖励加权教师 rollout 将黑盒奖励引入分布匹配,无需经过奖励模型反向传播,且方法可迁移到 T2I 生成。

    推荐理由:在 DiT 基线之上获得最高 2× 提速与 45% 显存下降,并提出把黑盒奖励引入分布匹配蒸馏的 Ry-DMD 方案。

  2. 36氪29

    谷歌改版车载应用商店,新增多款娱乐应用

    谷歌为搭载谷歌内置系统的车辆推出改版后的车载应用商店,新增Starz、火狐浏览器、Ludo King和JioHotstar等驻车娱乐应用,同时YouTube上线驻车视频音频在车辆行驶后继续播放的功能。改版后的应用商店将在未来数周逐步推送,搭载谷歌内置系统的车型覆盖16个品牌、超过100款,谷歌地图、Gemini等可直接在车机运行,车载应用商店共拥有700余款应用。

    推荐理由:原文列出了改版后的应用清单、YouTube新增的音频续播功能以及搭载车型覆盖范围,读者可以据此看到车载娱乐生态的实际规模。

  3. HF Daily Papers43

    DeltaStreamer:面向流式视频理解的类人智能体

    DeltaStreamer 是一个面向流式视频理解的开源智能体,可持续观察视频并在问题到达时按需回溯画面,代码与交互 demo 已在 GitHub 开源。它结合三项能力:对比相邻帧记录场景变化与描述、将视觉证据组织为带索引的结构化记忆、按需检索并重访原始帧。

    推荐理由:原文给出了面向持续视频流的代理框架,强调可按需回溯画面与结构化记忆,并附有开源代码与可交互 demo。

  4. HF Daily Papers38

    Speculative Sampling:交互式视频生成的低延迟推理方法

    本文提出 Speculative Sampling 推理方法,在自回归视频生成中保留大双向注意力窗口建模能力的同时保持小窗口的低延迟交互。该方法无需训练和 Self-Forcing 风格的后训练,应用在 MiniMax H3 上一次采样 5 秒视频,端到端响应延迟约 1.4 秒,可直接集成到任意交互式视频生成系统中。

    推荐理由:原文提出无需训练的 Speculative Sampling 推理方法,把双向注意力窗口大小与低延迟约束解耦,可供交互式视频生成团队参考工程取舍。

  5. HF Daily Papers45

    Orbia:生成视频能否构成一致的 3D 世界?

    Orbia 提出一个系统性评估交互式视频世界模型 3D 一致性的基准,涵盖输入保持、生成内容持久性和 3D 自一致性三个维度。该基准包含室内外 720 个实例、六种探索-重访协议以及分钟级长程探索,对 27 个文本、动作和相机条件模型进行了评测,指出视觉逼真且吸引人的帧不一定对应一致的 3D 世界,可为诊断 3D 不一致和开发更持久的视频世界模型提供基础。

    推荐理由:Orbia 是面向交互式视频世界模型的系统 3D 一致性基准,通过受控探索和重访协议评测 27 个模型,可用于诊断生成视频在三维层面的一致性缺陷。

  6. OpenAI News43

    Higgsfield 借助 GPT-6 Astra 将 AI 视频时长从 1 分钟提升到 10 分钟以上

    Higgsfield 借助 GPT-6 Astra 将 AI 视频生成时长从 1 分钟提升到 10 分钟以上,同时接入 GPT-Image-2.5 提升画面精度,并探索 GPT-Live 在语音电影制作方向的应用。

    推荐理由:原文给出视频时长从 1 分钟延长到 10 分钟以上的具体幅度,并提及语音电影制作方向,读者可据此评估生成能力的边界。

10月13日周二
  1. 钛媒体50

    Utopai闯入好莱坞:一家AI原生影视公司如何改写百年规则

    10月13日MIPCOM开场演讲,AI原生影视公司Utopai登上主舞台并宣布与韩国CJ ENM Studios推进合作;同日安东尼奥·班德拉斯确认出演其史诗长片《Cortés》。

    推荐理由:从MIPCOM亮相切入,系统梳理AI原生影视公司进入好莱坞的合规谈判、技术分层与商业模式路径,为行业准入叙事提供参照。

  2. 钛媒体46

    从电视到 AI 短剧,争夺时间的生意发生了什么变化

    文章从电视、手机到 AI 短剧梳理媒介争夺用户时间的路径,指出 AI 降低了内容生产成本却没有改变注意力稀缺的本质。据 DataEye 数据,2026 上半年抖音新增 AI 短剧及漫剧约 22.19 万部,播放量过亿的作品约 1055 部、占比 0.47%,越过 5000 万播放盈亏平衡门槛的约 1.3%。

    推荐理由:文章从电视到 AI 短剧梳理争夺注意力的结构性矛盾,可帮助读者看清供给扩张下时间为什么反而更紧张。

  3. 36氪50

    OpenAI计划重启Sora

    OpenAI正与一家尚未公开名称的AI视频初创公司洽谈,拟向其授权Sora模型并由其进行二次改造和销售。该初创公司由杰弗里·卡森伯格、前Sora项目研究负责人比尔·皮布尔斯、前Dropbox首席财务官苏杰·贾斯瓦在近几个月联合创立,面向电影从业者开发AI视频工具,上月被媒体披露。

    推荐理由:报道披露了好莱坞资深人士联合创立的初创公司与 OpenAI 就 Sora 模型授权改造进行洽谈的背景,为观察 Sora 商业化路径提供了具体线索。

  4. 钛媒体57

    AI批量造星,真人明星还有何价值?

    深响在钛媒体发文分析AI批量造星现象,结合AI漫剧、AI演员、AI歌手、AI偶像等案例,拆解虚拟角色从作品走红到粉丝运营再到品牌合作的完整链路。今年前8个月全国上线微短剧43万部,AI剧占比超过九成。文章同时指出真人明星仍拥有真实互动、不可预测性和长期人生经历沉淀等难以被AI替代的部分。

    推荐理由:文章把AI虚拟偶像与真人明星拆成两类消费对象,对照标准化内容产能与不可复制的真实互动,给出当前行业分层判断。

  5. 钛媒体59

    AI剪辑混战,钱从剪辑师流向了谁?

    钛媒体分析AI剪辑行业格局,指出剪映、Adobe、Descript、可灵、Runway等四路玩家正从不同方向争夺同一条视频生产流水线,按席位收费的传统软件模式正被按AI积分和素材时长计费取代。

    推荐理由:文章梳理了四类玩家争夺视频生产流水线的竞争格局与定价模型变化,为理解剪辑价值链上的利润流向提供了具体线索。

  6. 钛媒体49

    AI短剧吃掉国内过半词元,视频大模型公司成最大"印钞机"

    中文在线披露的行业数据显示,AI短剧与视频生成在国内词元消耗中占55%,远超软件开发的15%,是当前国内最大的算力消耗场景。生产1分钟AI视频约消耗360万词元,一部120分钟AI真人短剧仅模型端算力成本就达3万至4万元,占总成本约50%。

    推荐理由:用国内词元消耗占比数据揭示AI短剧为何吃掉过半算力,并拆解模型层、制作层与平台层的成本与收益分成结构。

  7. 36氪29

    华泰证券:海内外AI影视工业化生产加速

    华泰证券研报指出,AI影视正从单点技术突破迈向工业化生产,全球影视产业有望迎来成本结构与内容供给模式的重塑。2026年以来国内视频模型在生成质量、推理效率与使用成本上持续突破,AI长剧及电影陆续进入上线、发行阶段;海外影视平台与AI原生公司也在加速将模型融入专业制片流程,推动生产从单项目制向标准化、规模化演进。

    推荐理由:把国内视频模型能力突破与海外平台融入专业制片流程放在同一框架下,为读者判断AI影视从工具走向工业化的时间表提供参考。

  8. HF Daily Papers44

    WorldMemBench:评估视频世界模型记忆能力的综合基准

    WorldMemBench 是一个用于评估视频世界模型记忆能力的新基准,通过 260 个测试用例检验模型在多次重访中对静态外观/几何与动态状态演化的记忆保持。研究还评测了 9 个代表性模型,发现强静态记忆并不必然带来可靠的动态状态演化,多次重访时记忆会出现进一步退化。

    推荐理由:WorldMemBench 用 260 个测试用例系统评估视频世界模型的静态与动态记忆能力,为诊断记忆失效提供可复用的测试床。

10月12日周一
  1. 36氪24

    文投控股预计下半年漫剧业务收入将提升

    文投控股在10月12日召开的2026年半年度业绩说明会上表示,上半年受漫剧项目尚未大规模商业化影响,漫剧板块收入仍然较少;公司预计下半年伴随前期开发漫剧项目陆续上线,漫剧业务收入将迎来提升。该消息来源为证券时报。

  2. HF Daily Papers40

    Multics:基于分层通信的生成式多玩家世界模型

    论文提出 Multics,一种面向多玩家交互仿真的视频生成框架,通过玩家、群组、全局三层分层通信结构降低自注意力成本并抑制无关事件间的相互干扰。群组 token 跨组共享参数,配合基于近期相机轨迹的预算受限动态分组,在 4 与 6 玩家场景取得 SOTA,并能从未经重训直接泛化到 6、8、10 玩家推理。

    推荐理由:提出分层通信的多玩家世界模型框架,用群组 token 降低自注意力开销并支持训练规模之外的推理,可作为生成式交互仿真的方法参考。