Youtu-Parsing-Omni 论文提出单一编码器与统一输出结构的多模态解析方案
Youtu-Parsing-Omni 提出并开源统一多模态解析器,以一个共享权重编码器和一套统一输出结构,将文档、图像、音频与视频转换为带时空信息的结构化记录。
推荐理由:论文同时给出统一解析架构、训练方法、基准成绩和 vLLM 部署配套,便于对照模型效果与实际使用方式。
Youtu-Parsing-Omni 提出并开源统一多模态解析器,以一个共享权重编码器和一套统一输出结构,将文档、图像、音频与视频转换为带时空信息的结构化记录。
推荐理由:论文同时给出统一解析架构、训练方法、基准成绩和 vLLM 部署配套,便于对照模型效果与实际使用方式。
HairDeck提出一种基于扩散Transformer的方法,从单张图像生成风格化发片及驱动它们的弹簧骨骼链,产出可导出至下游格式的动画资产。在CHARM自有测试集上,HairDeck将Chamfer距离降低44%,卡片朝向误差降低超过一半,运行速度提升33倍。
推荐理由:在CHARM自有测试集上,HairDeck降低Chamfer距离和卡片朝向误差,同时将运行速度提升33倍。
LARC 将统一多模态模型的推理从离散 token 空间转向连续隐状态,缓解 token 级瓶颈并支持测试时扩展。训练分为课程式 SFT 和信息增益 RL 两阶段,后者无需真实标签监督即可自演化潜在推理。
推荐理由:论文将推理置于连续隐状态以缓解 token 级瓶颈,并给出两阶段训练方法和 GenEval 对比,便于评估多模态推理的扩展表现。
研究团队用冻结特征探针评估十种视觉基础模型表示,发现可见场景的准确读出并不保证物体持久性、未来特征检索或目标导向行动的有效性。实验基于静态室内环境的流式第一人称观测,覆盖空间结构、物体持久性、预测更新和行动性四个层面,匹配控制区分了读出准确性与对视觉历史、运动的依赖。
推荐理由:十种表示的能力对比显示,可见场景读出准确并不等于能维持物体持久性、完成预测更新或支持目标导向行动。
新加坡国立大学(NUS)研究人员将电子纤维直接织入袖套,开发出可显示图像和视频、响应触摸并无线连接设备的可机洗织物触摸屏。原型由54根像素纤维组成,形成96×54像素、168×105毫米、30帧/秒的显示屏,并支持8-bit色深。在包含洗涤剂的50次机洗和半径5毫米的1,000次弯折后,显示与触控性能仍接近不变;团队后续计划提升分辨率、集成更多传感功能并探索端侧AI。
推荐理由:研究给出了电子纤维的互连架构与样机参数,展示了在保持织物透气性和柔韧性的同时实现可机洗交互界面的具体路径。
Cartesia Research 报告 H-Nets 在字节级语言、DNA 与图像上的训练结果与算力效率。
推荐理由:文章以匹配数据和算力的方式比较 BPE Transformer 与 H-Nets,并说明不同压缩策略下对齐口径的难点,为解读效率结果提供清晰边界。
一项研究提出在线稠密强化学习框架,直接在实际运行的 iOS 应用上训练由规划智能体与 UI 定位模型组成的 UI 导航智能体。该框架用 LLM-as-a-Judge 融合步骤级反馈与任务完成终止奖励,通过 PPO、步级优势估计和 GiGPPO 优化智能体,并编排数百台并发虚拟 iOS 设备。
推荐理由:论文将规划与 UI 定位拆成专用组件,并给出 GiGPPO 价值估计与多基准评测,便于对照在线强化学习的效果。
WorldBridge 将视频预测与稀疏动作监督结合,用分离的视频专家和动作专家提升机器人在新任务中的泛化能力。在 RoboTwin 2.0 的分布外任务上,仅使用同分布视频-动作监督的成功率为 25.07%,加入无动作标签的视频后升至 55.90%,每个任务再增加 1 条动作标注示范后达到 70.70%。
推荐理由:通过对照视频与动作监督的组合,论文量化了两类监督对机器人任务迁移的贡献,并给出多基准结果,便于理解 WorldBridge 的设计依据。
论文用 JEPA 将柏拉图表示假说转化为定理,证明使用同一场景良好视图的不同模态模型可学到相差至多一次旋转的共享表示。研究把下一 token 预测视为使用不良视图的 JEPA,并以 145k 条 caption 到 940M 张网页图像文本的数据验证对齐缩放规律,良好视图达到同等对齐所需训练样本少 42 倍。
推荐理由:论文将 PRH 转化为表示定理,并比较 JEPA 与下一 token 预测在跨模态对齐上的样本效率差异。
EmbeddingGemma 2 论文提出一个原生统一文本、图像、音频、视频及其组合表征的开源多模态嵌入模型。模型采用简化逐层嵌入与包含模态和目标递进的多阶段课程,并在覆盖各模态的综合嵌入基准中超过专用模型及规模大 2 至 12 倍的模型。设计支持选择性加载模态编码器、调整视觉 token 预算、截断嵌入维度和量化权重,论文地址为 https://arxiv.org/abs/2610.37364。
推荐理由:论文在统一多模态表征之外,还报告了相对专用模型和规模大 2 至 12 倍模型的性能对比。
这项研究表明,因子化向量量化可让离散视觉 token 在多模态理解上追平连续视觉表示,更大的量化误差也可能对应更好的理解表现。研究将有效 bit 预算识别为下游性能的关键因素,其模型在九项指标均值上较 UniAR 和 Emu3-Chat 分别领先 22.8% 和 59.2%,并在细粒度 OCR 任务上具备与 Qwen3-VL 等连续表示模型竞争的能力。
推荐理由:论文以量化误差与语义保真度的关系为切入点,对比连续与离散视觉表示,并给出可扩展的并行码本量化方案。
论文提出 EvidenceConnect,通过同一图像相关区域的缩放视图合成问题,并用 RLVR 训练出 Zooming without Zooming v2(ZwZ2)。框架仅保留多个独立 VLM 达成一致的参考答案,并通过区域消融剔除移除相关区域后答案仍成立的问题。ZwZ2 改善了细粒度与空间感知,并在具身空间推理、多模态长上下文理解、多模态智能体任务和通用视觉推理上获得进一步提升。
推荐理由:论文把证据连接抽象为可合成能力,并用独立 VLM 一致性与区域消融筛选训练数据,给出可复用的多模态训练流程。
VibeVideoBench 提出一个评测多模态智能体代码驱动视频生成能力的基准,包含239项中英文自包含任务和12个类别。每项任务要求智能体在无图像或视频生成模型的沙箱内用代码产出带声音的 MP4,并在1小时内完成;评估结合交付规范程序检查、约13k项任务量规和3个VLM评审组。
推荐理由:该基准覆盖239项中英文任务,并用分层量规与人类偏好对照,揭示智能体常因时间管理影响最终视频交付。
PDRVLA 将轻量物理动态模块引入视觉语言动作模型,通过预测未来视觉特征改善机器人动作生成,并避免在线视频生成延迟。该模块直接预测未来的 RGB、深度和光流特征,并用冻结的预训练视频世界模型进行辅助监督。
推荐理由:论文将轻量物理动态预测接入视觉语言动作模型,并通过消融实验分析世界模型监督、子任务条件化与 ECoT 训练对动作成功率的影响。
CodeCap-Bench 论文提出以可执行代码作为视频内容的补充表示,并推出评测多模态模型代码字幕生成能力的基准。该基准包含323个视频、五类结构化2D内容、细粒度标注和多层级评测框架。实验显示,代码字幕在问答推理准确率和视频重建保真度上优于自然语言字幕,但领先专有模型仍难以忠实呈现复杂时序,开源模型明显落后。
推荐理由:论文用323个视频和五类结构化2D内容构建基准,并同时比较问答与视频重建结果,便于比较模型在复杂时序描述上的差异。
Hy-Nomas 提出一种采用 8B 扩散骨干的视频世界模型,可依据多轮自由文本指令和连续镜头控制生成可变长度片段。模型结合结构化视频描述与动作感知因果注意力,在保留交互历史和动作后果的同时限制动作的作用窗口;视觉语言 Prompt Enhancer(PE)会将用户请求和多模态交互历史转换为下一片段的结构化条件。论文还公开模型权重、代码、基准和轻量适配流程,人工评测显示其表现优于现有世界模型。
推荐理由:论文将多轮指令、历史缓存和动作时间窗约束整合进 8B 扩散骨干的视频世界模型,并公开代码与基准,为复现交互式生成研究提供技术路径。
研究团队推出 Pinal,用自然语言生成蛋白质设计;Hugging Face 等团队发布开放权重模型 Carbon X,可在本地运行并处理 DNA 与英文。Pinal 通过 T2struct 生成结构 token,再由 SAProt-T 补全氨基酸序列;在 GFP 类荧光蛋白测试中,50,000 个候选经筛选后有 29 个在 E. coli 中表达,最终仅 1 个成功发光。
推荐理由:Pinal 与 Carbon X 展示了自然语言进入生物序列设计的不同路径,并用实验成功率、长序列定位和本地运行条件呈现落地限制。
A-RSI 在学习信号下降时刷新训练任务,并用由程序生成且可独立验证的答案提升模型的递归自我改进效果。方法依据训练日志中的奖励波动与准确率更新任务池,不参考验证集或测试集成绩,也不使用外部训练样本或人工答案标签。在主要十一项基准测试套件中,加入 800 个新任务后,性能平均值从 57.77 提升至 61.05。
推荐理由:论文将任务刷新与答案验证拆分,依据训练日志更新任务池,展示了无外部标签的多模态自我改进方法及基准结果。
研究团队提出 AskStream 多轮基准,用于评估流式视频理解模型在不确定性下主动询问缺失信息的能力。该基准覆盖视频和用户两类不确定性,包含 4 类任务、8 个子任务、438 个视频及 2,714 个人工标注的帧级时间窗口,动作分为等待、提问和回答。在选择题和开放式设置中,最强模型的 Ask-F1 也仅为 52.18%,反映出模型主动寻求信息能力的局限。
推荐理由:AskStream 将流式视频交互拆分为等待、提问和回答三类动作,并用多轮数据呈现模型主动补全信息的关键难点。
IntReal 提出面向真实场景的多模态交错生成数据集与评测套件,用于诊断统一多模态模型的能力差异。IntReal-100K 覆盖四大类交错样本,IntReal Evaluation Suite 通过专家模型从七个维度进行粗到细评估。
推荐理由:IntReal 以细粒度指标定位统一多模态模型在不同能力维度的强弱项,配套数据可用于针对性后训练与改进交错生成。