OmniShowcase 基于多视图图像实现全向主体一致性视频生成
OmniShowcase 通过几何驱动的训练数据和表面法线图条件,改善从多视图参考图像生成特定主体视频时的新视角主体身份与 3D 一致性。
推荐理由:论文将几何驱动的数据合成与表面法线条件结合,配套构建 Showcase-4K 和 ShowcaseBench,便于复现并比较跨视角主体一致性表现。
OmniShowcase 通过几何驱动的训练数据和表面法线图条件,改善从多视图参考图像生成特定主体视频时的新视角主体身份与 3D 一致性。
推荐理由:论文将几何驱动的数据合成与表面法线条件结合,配套构建 Showcase-4K 和 ShowcaseBench,便于复现并比较跨视角主体一致性表现。
The Trinity 提出能力驱动的多模态智能体递归自我改进框架,演化后的 Harness 在 28 个训练基准和 18 个未见基准上平均分别提升 34 分和 26 分。
推荐理由:The Trinity 将多模态智能体改进拆解为能力树、模块继承和任务路由,并给出跨训练集及未见基准的分值对比。
RynnVLA-Latent 从人类、机器人和仿真交互视频学习连续、3D接地的潜在动作,用于扩展机器人操作基础模型的预训练监督。框架处理30.1K小时视频,生成745.52M潜在动作描述符,并以flow matching训练4B策略,再适配到具体机器人形态的动作。
推荐理由:论文展示了从异构视频生成3D接地潜在动作的预训练方法,并附有数据扩展与消融结果,可供机器人策略研究者对照理解。
ChronoReplay 是面向流式视觉语言模型的训练框架,通过按时间顺序组织异构空间监督、保留任务专属答案格式并平衡不同监督族,统一分类关系、度量距离和运动轨迹三类空间推理。它在 OVO-S-Bench、OST-Bench 和 UCS-Bench 上均取得一致提升,OST-Bench 提升 13.41 分,并通过自适应帧选择在降低视觉处理成本的同时改善效果。
推荐理由:ChronoReplay 针对空间模型按答案格式专精导致的接口锁定,呈现多类监督平衡、时间有序回放与自适应帧选择的训练方案及基准结果。
声网CEO赵斌在iRTE2026提出五级对话能力框架,把对话式 AI 从单轮应答一路拓展至基于深度关系的沟通。L1至L5分别覆盖自身视角表达、互动规律、个体认知、群体认知与深度关系,赵斌称实时互动基础设施还需支撑低延迟、稳定交互、上下文理解与任务执行。
推荐理由:赵斌的五级框架把对话能力从单轮应答延伸到关系理解,圆桌则补充 Agent、穿戴设备和业务交付视角,为梳理对话式 AI 的演进方向提供具体参照。
腾讯混元发布 Hy-Nomas,一款通过文本指令与镜头控制实现自由形式多轮交互的视频世界生成模型,并提供 BF16 Diffusers 权重。模型采用分段自回归 DiT、Qwen 文本编码器和 PixelUMM 视频解码器,以 KV cache 延续上下文;示例使用 4 步去噪,输出 704 × 1280、24 FPS。
推荐理由:模型卡同时给出交互机制、推理参数与基准覆盖,开发者可据此复现多轮视频世界生成,并评估交互控制与空间记忆表现。
AV-FABLE提出面向长视频稀疏篡改的双时间线音视频取证基准,并以NFSR通过分离的音频与视觉时间解码器读取冻结AV-LLM特征。基准包含 16,650 对原始与篡改孪生视频,共 998 小时和 27 种编辑配置,支持音频与视觉的独立时间定位。
推荐理由:AV-FABLE对比零样本提示与冻结特征读出,展示分离时间解码器在长视频音视频篡改定位上的取证优势。
论文提出开放权重视觉语言模型 RoboJev-27B,利用任务指令、操作尝试的 10 帧以及如有提供的辅助相机末帧判断机器人操作是否成功。
推荐理由:论文公开训练机制、推理代码及包含 20,628 条预测的评测数据,便于对照机器人成功检测方案并复现实验。
Google Research 正将 MedGemma、MedSigLIP 用于一线结核病筛查,覆盖胸片分诊、咳嗽声筛查与本地临床推理。团队通过 HAI-DEF 开源胸片嵌入与 MedSigLIP,并发布 4B、27B 开放权重 MedGemma,后者全球下载量已超过 10 million。
推荐理由:文章串联算法验证、监管认证、跨国部署与本地化微调,呈现医疗 AI 从研究走向临床的转化路径与关键环节。
FilmFlow 将自然语言指令或参考视频转换为动态 3D 场景中的可执行相机轨迹。Director 智能体组合平移、旋转和构图等原子操作,Interpreter、Scout、Critic 分别解析意图、选择初始视角并提供迭代反馈。
推荐理由:FilmFlow 将导演、意图解析、勘景和审片四类智能体串联,并以 150 个 Blender 场景的 CinemaBench 覆盖文本与视频参考两种生成方式。
论文提出 AgentVQA 离线基准,在 Web 智能体、机器人、第一人称视频、游戏和空间规划五类场景评测视觉语言模型。该基准从 23 个源数据集人工选取并改造 1000 个具有挑战性的真实世界智能体样本;在 22 个参评模型中,最佳准确率仅为 58.5%。跨域分析显示,主要失误来自 UI 元素定位、运动理解、状态变化跟踪和 3D 空间关系推断,而非任务误解或后续逻辑推理。
推荐理由:该基准以离线方式统一比较五类真实智能体场景中的模型,排名趋势与对应在线评测一致,并定位视觉 grounding 和状态跟踪失误。
论文提出 WeVisOne-VL,通过结构化 token 预测统一对象级与像素级视觉感知。该 VLM 借助轻量 pixel decoder 和特殊 <OBJ> token 生成实例级像素输出,并采用三阶段课程训练,先进行 SFT,再进行混合任务 RL。
推荐理由:将检测、定位、OCR、分割与抠图纳入同一 VLM,并给出 30 多个基准结果,为比较细粒度视觉感知方案提供集中参考。
腾讯 WeChat Vision 发布 WeVisOne-VL-4B,将对象级视觉任务与像素级视觉任务统一到同一模型中。模型基于 Qwen3-VL,通过结构化 next-token prediction 和 9.6M 参数轻量像素解码器,支持开放词汇目标检测、指代定位、目标计数、目标指向、OCR、指代分割及可提示 alpha 抠图。
推荐理由:模型将对象级与像素级视觉感知统一到同一架构,公开坐标标记、实例标记和 9.6M 参数像素解码器细节,便于对照研究视觉定位、分割与抠图。
研究者提出 OmniDR-Bench 和技能工作流,用于评测智能体围绕视频综合外部证据并生成关联视频时刻的交互式报告。该基准包含 19 个现实子类别、50 个中英文任务和 6,414 条标准,并以 Omni-ARTs 评估 18 种智能体配置;最佳系统得分 63.3/100。
推荐理由:该基准将视频定位、外部多模态证据检索与交互式报告纳入统一评测,并呈现智能体在覆盖范围和跨模态分析上的能力差距。
研究者提出 TTR-Compressor,作为标准池化与投影式序列压缩的实用替代方案。它在高效 LLM 的块级稀疏注意力压缩和 MLLM 的 VL projector(merger)中均展现出强劲的实证增益。潜在应用包括视频/音频时间压缩、从头训练原生高效 ViT,以及通过按深度压缩改善深度扩展。
Verus-Insight 通过检查规划、证据验证和证据聚合训练 AI 生成视频伪影检测器,并采用人工锚定的全流程监督与渐进能力训练。论文还提出带有人工标注可感知伪影的 Verus-Bench;多基准实验显示,该方法在细粒度伪影分析和视频级检测中表现较强,并能更可靠地将检查目标转化为有支持的证据,同时未增加虚假伪影断言。论文地址为 https://arxiv.org/abs/2610.30866。
推荐理由:论文把 AI 生成视频伪影检测拆为检查规划、证据验证和证据聚合,同时提供细粒度人工标注基准,便于比较检测器的证据识别能力。
论文提出因子感知预测学习 FAPL,通过分阶段训练让视频 DiT 更有效地利用 MLLM 潜变量,支持稀疏时间推理与因子感知的电影化控制。训练先以冻结的 MLLM 和连接器强化 DiT 的潜变量利用,再通过 factor-span replacement 学习目标因子改变与非目标保持,最后冻结 DiT 并优化 MLLM 和连接器,兼顾有限输入表示学习与完整观察重建。
推荐理由:论文将 MLLM 潜变量利用、稀疏推理和因子控制放进同一分阶段训练框架,便于理解多模态表征如何用于电影化视频生成。
研究提出 On-Policy Self-Training(OPST),让大语言模型仅凭粗粒度主题描述生成问题、答案和特权推理示范,在不依赖人工编写问答的情况下实现自我改进。伪验证过滤器只保留模型能在新上下文和改写问题中复现答案的题目。实验覆盖域内自我改进、域外知识保持和 Visual OPST 多模态迁移,结果显示其提升语言与多模态推理,并优于其他训练策略。
推荐理由:论文把自蒸馏改写为自训练框架,并用可复现性过滤自生成题目,为无人工问答的模型自我改进提供了具体路径。
这项研究考察多模态大语言模型的检索头是否会随输入模态增加而扩展,并用音频与画面呈现相同答案的配对输入进行验证。在18个语言、视觉语言和全模态检查点上,全模态模型基本保留骨干模型的检索头,消融这些头几乎消除全部音视频检索。
推荐理由:论文把跨模态共享的检索头转化为优化目标,并报告该方法在三个模型家族上改善文档检索,为改进多模态检索提供了一种方法。
RynnUnify 是一种 16B 统一具身模型,通过视频—语言交错推理整合视觉规划、物理推理与机器人控制,并形成智能体扩展与世界—动作扩展。实验显示,其具身理解平均分在所评估的统一多模态模型中最高,Rynn-VP 总体分较 Cosmos 3 Nano 高 9.75 分,智能体扩展使 Rynn-GEU 平均分较直接推理高 6.0 分。
推荐理由:RynnUnify 将具身理解、长程视觉规划与机器人控制纳入同一16B模型,并以基准和真实机器人任务检验各扩展模块。
这项研究将柏拉图表征假说扩展到机器人领域,并提出Sensorimotor Alignment(S²),以感觉表征邻域与末端执行器轨迹邻域的重叠度衡量对齐程度。仿真中的Vision-Language-Action模型(VLA)、World Action Models(WAMs)及真实机器人策略均显示,S²越高,任务成功率通常越高。
推荐理由:研究以感觉表征与运动轨迹的邻域重叠构建S²指标,为闭环评测前识别更可能取得高任务成功率的模型提供低成本离线依据。
Falcon 是一种因果音视频目标说话人提取模型,利用目标说话人的嘴部视频从噪声和重叠语音中提取其声音。模型采用单次多尺度时频分离器与编码空间说话人对比损失,相较 causal AV-TFGridNet,可训练参数减少 91.9%,计算量降低 20.2×,GPU 推理延迟降低 11.1×。
推荐理由:论文提供真实场景基准,并报告相对 causal AV-TFGridNet 的参数、算力与延迟对比,便于评估效率取舍。
World-in-Context 提出上下文条件化(ICC)框架,用共享自注意力中的显式 token 统一视角、动作和相机控制。World-in-Context-5B 在 WBench 上取得 81.5 的导航表现,接近 22B EchoWM 的 81.6;视角切换成功率达 93.8%,高于现有 5B 基线的 18.8%。
推荐理由:论文用显式 token 统一视角、动作与相机控制,并在 WBench 对比 5B 与 22B 方案的导航和视角切换表现。
AW-0 提出智能体世界动作模型框架,将基于代码的规划与未来视频和机器人动作作为三类耦合生成流统一建模。其混合 Transformer 架构由代码专家生成参数化技能程序和控制逻辑,视频与动作专家生成未来视觉状态及低层电机指令;自动整理流程还会用对齐程序标注机器人与人类视频轨迹,并将重复流程汇入技能库。
推荐理由:论文将代码规划、未来视频与机器人动作纳入同一生成架构,并报告任务表现相较 VLA 和 WAM 基线有所改善。
OlmoEarth v1.3 发布卫星嵌入模型及全球年度预计算数据,为全球每个 10m 像素提供 64 或 128 维嵌入,并上线 OlmoEarth Embeddings Explorer。
推荐理由:模型不仅开放权重、数据和代码,还提供全球预计算嵌入与浏览器工具,读者可据此评估低算力遥感制图工作流。
RealMe 提出统一框架,利用高分辨率视频扩散模型将稀疏、低分辨率多视角采集增强为 2K、4D 一致的体积视频。框架采用适配多视角布局的时空注意力、布局感知位置嵌入和潜空间频域损失,以改善分辨率与时空一致性。在 DNA-Rendering 和自采 RealVV 数据集上的实验显示,其视觉保真度和 4D 一致性优于已有最先进方法。
推荐理由:论文以高分辨率视频扩散模型、布局感知注意力和潜空间频域损失,将有限采集增强为 2K、4D 一致的体积视频。
腾讯混元发布 Hy-SimulMT,提供中英双向语音到语音实时同声传译,并支持在配置 TTS 后进行实时声音克隆,保留说话者声音特征。模型持续接收音频并同步输出译文文本与语音,面向会议、演讲和访谈等实时沟通场景。
推荐理由:材料给出 RealSI 等基准、与职业译员的小规模对比及完整部署路径,读者可据此判断模型在实时翻译场景中的质量、延迟与可操作性。
论文提出PAPAV框架,用感知、预判、规划、行动和验证五项能力统一比较多模态智能体、机器人系统与多模态具身智能体。对64项基准的分析显示,显式评测主要集中在行动,只有5项评估预判、3项评估验证。论文还指出,从数字环境转向物理环境时,5项约束会减少预先固定的选择和纠错空间。
推荐理由:PAPAV以五项能力统一比较多模态智能体、机器人系统与多模态具身智能体,并显示64项基准中仅5项评估预判、3项评估验证。
NVIDIA Cosmos 平台新增训练工具、仿真检查点和 Cosmos Data Factory 蓝图,面向世界模型与物理 AI 开发。Data Factory 提供 5 个云原生蓝图,涵盖驾驶数据、图像增强、事件视频和缺陷生成等场景。
推荐理由:原文将数据构建、模型训练、策略测试与部署串成完整链路,并给出推理和视频处理能力的量化变化,便于评估平台落地范围。
这篇视频世界模型综述以世界建模为统一视角,梳理视频理解与生成围绕潜在时间状态展开的进展。论文将相关工作归为读取、写入、共享和交互四类操作,并区分时间连贯性与底层世界状态的一致性。综述指出,研究重点正从片段级识别和感知保真度转向持久状态、可控演化、物理与因果有效性,以及交互和下游决策导向的评测。
推荐理由:这篇综述以世界建模串联视频理解与生成,并按读写、共享、交互四类操作梳理技术演进与开放问题。
DirCast 是一种流式视频语言模型,可仅依据过去上下文同时选择电竞直播镜头并生成实时解说。模型每秒低分辨率扫描所有摄像头,以保持或切换策略决定是否转场,再以高分辨率读取选中画面并解说;上下文保留已播画面与已生成解说,让其余视角移出,从而约束任意长度流的成本。
推荐理由:论文把每秒选镜头与实时解说统一进单一流式模型,并提供规则系统、GPT-5、GPT-4o及11个流式解说器的对照结果。
Dual Exam 分别在固定环境响应机制和固定动作干预下评测多模态智能体与世界模型,覆盖物理、数字、社会和科学领域。
推荐理由:Dual Exam 将智能体与世界模型分轨评测,并报告耦合试验任务成功数为 0 及任务相关状态保持问题。
F2G-Pose 提出实时单次前馈框架,从单张 RGB-D 图像直接预测类别级物体的三维位姿、米制尺寸和相机坐标系下的补全形状。方法将稠密视觉基础特征提升为局部点云,以 DGCNN 编码局部几何,并用 Mixture-of-Experts Transformer 融合对象级结构。
推荐理由:F2G-Pose 在 SOPE 和 ROPE 上达到 SOTA,位姿推理速度为 28 FPS,为实时三维位姿估计提供了兼顾精度与效率的方案。
BrickWright 通过装配 API 和物理可行性验证器,让预训练智能体根据文本或图像提示生成物理可行的 LEGO 积木装配。在 512 个提示的样本上,智能体达到 100% 物理有效性,基线智能体则为 9%(GPT-6 Luna)至 69%(GPT-6 Astra);轻量智能体的提示遵循度提升,强智能体保持该指标,并优于专用模型完成文本到积木任务。
推荐理由:BrickWright 将装配 API 与物理可行性验证器接入智能体,为实体积木生成提供了一套可复用的验证与纠错方法。
论文提出一种面向任意骨骼绑定的模型,可联合生成视频与 3D 运动,并估计相机以将运动对齐到场景。模型把独立的 3D 运动模型通过少量交叉注意力层连接到预训练视频生成器,训练中使用生成式视频编辑器以及人类和机器人视频,形成 nearly 200K 训练对。
推荐理由:论文比较了任意骨骼动画中联合生成与视频优先方案的差异,评测重点落在文本驱动忠实度与场景响应。
NVIDIA 扩展面向欧洲行业的开放模型组合,覆盖语言、机器人、生物与量子计算,并支持结合本地数据和自有基础设施部署。
研究人员发布面向全模态大模型的音视频推理评测基准 EvaOmni,包含 392 段视频与 1027 道人工标注问答,覆盖 15 项能力以及检索定位、基础理解与复杂推理三个层级。
推荐理由:针对全模态大模型的音视频推理评测,给出 15 项能力、三个层级和 392 段视频的覆盖,可对比主流模型在证据定位上的真实差距。
Video-Point Model(VPM)根据多视角视频历史和语言指令,联合预测任意视角的未来视频与持久场景点的3D轨迹。它在预训练世界模型中加入相机条件多视角处理和轨迹头,并构建 VPM-Data 仿真语料与 VP-WorldBench 预测基准。
推荐理由:将多视角视频预测与持续点轨迹监督结合,并通过仅视频对照及模拟和真实机器人实验呈现共享3D表征的作用。
Foundation4D是一种面向自动驾驶的统一前馈模型,可从多摄像头驾驶视频联合估计几何、检测目标、预测语义占据并进行高斯重建。其共享骨干以分解式时空注意力融合跨相机和跨时间观测,位姿图优化用于细化相机轨迹并组装目标轨迹。
推荐理由:Foundation4D将多摄像头驾驶视频的几何、检测、语义占据与高斯重建纳入统一前馈框架,并发布含1,253段稠密标注驾驶片段的基准,便于比较联合训练的多任务收益。
LaLa-World 提出语言条件潜世界模型,联合学习仿真、机器人轨迹及更广泛的图像和视频数据,平均 MPC 规划性能高于按域或任务分别训练的 LWM。它把数值动作和视觉变化都描述为语言,并基于语言模型预测未来潜状态,用同一预测器联合训练异构数据集。
推荐理由:论文用匹配比较呈现 LaLa-World 的效率,在规划性能与 RAEv2 基线相当时,训练成本低 6times、规划速度快 13.9times。