视觉生成能否拓展统一多模态模型的知识
作者提出 Knowledge Transfer Probing(KTP)协议,通过图像生成训练向预训练统一多模态模型(UMM)注入新知识,再用纯文本问答测试其可访问性。
推荐理由:论文提出 KTP 协议可控衡量视觉生成训练带来的知识迁移,给出对齐方法与可访问性差距数据,可供设计多模态训练时参考。
作者提出 Knowledge Transfer Probing(KTP)协议,通过图像生成训练向预训练统一多模态模型(UMM)注入新知识,再用纯文本问答测试其可访问性。
推荐理由:论文提出 KTP 协议可控衡量视觉生成训练带来的知识迁移,给出对齐方法与可访问性差距数据,可供设计多模态训练时参考。
PremiseCheck 提出结合大语言模型与决策模型的事实核查框架:先用 LLM 将评审意见改写为显式前提,再由决策模型逐条核对原文。三领域测评显示其准确率与 GPT-5.5 相当,NLP 评审场景下成本约为其四分之一、延迟低于一半,并配套发布 ReviewFact 基准。
推荐理由:原文提出将评审意见拆为显式前提后由决策模型核查,并以新基准展示了相比前沿 LLM 的成本与延迟优势。
SSI 用有符号归因解释模型评分,量化每个空间单元及其光谱通道对分数的贡献。它在固定周围图像的同时,使用 Shapley values 将一个空间单元的贡献分配到各通道,且通道贡献会随图像变化。
推荐理由:SSI将模型评分拆解到空间单元与光谱通道,并结合 Shapley values 和多数据集对比,呈现通道贡献如何随图像变化。
GPT-6-Astra 在 12 个机器人基准上以 in-context learning 达成前所未有的表现,但在真实部署中仍有显著差距。
推荐理由:原文量化了 GPT-6-Astra 从基准到真实部署的能力差距,并提出面向真实需求的下一代具身评测框架构想。
作者提出 LexFrame 方法,通过模型自身剩余层读取隐藏态,在 SmolLM3-3B 和 OLMo3-7B 上分别达到 0.97 与 0.97 的相干性,明显高于固定 lens 0.30 与 0.35 的上限。其读出结果与模型输出相差约 0.16 nats,并能基于置信度实现跳过约 0.45 与 0.42 比例层的早退。
推荐理由:提出用模型自身剩余层读取隐藏态的 LexFrame 方法,把相干性上限从约 0.30 拉到 0.97,并支持跳过近半模型层。
论文提出 CoSTA,通过解耦语音对话模型的生成与合成 token 空间,在保留原 tokenizer 和 decoder 的同时提升推理效率。在双语语音对话基准上,扩展语音 token 的生成速度达到约 1.7times,完整响应延迟降低、吞吐量提高,同时保持回答质量。
推荐理由:论文将语音对话模型的生成与合成 token 空间解耦,在保持回答质量的同时呈现推理加速效果及压缩、效率与质量之间的权衡。
研究者推出 PhysClosureBench 基准,包含 50 个经专家验证、目标明确的物理研究任务,用于评估 AI 智能体组织调研并获取充分证据以回答问题的能力,其中 Atomic Score 衡量局部科研产出,Research Closure(RC0–RC4)衡量对研究问题的闭环程度。
推荐理由:论文提出 RC0–RC4 五级闭环评分并测试 7 个前沿模型,揭示出局部科研产出与完整研究闭环之间的持续差距,为科研类 Agent 评测提供新角度。
CarryOn 提出一种双循环框架,可在冻结的视觉-语言-动作(VLA)策略之外加入长期个性化规划与执行监督,提升家用机器人辅助的安全性与适应性。在真实机器人和仿真实验中,它把已经过安全微调的 VLA 的违规率从 52.6% 降至 6.1%,并把细化后恢复技能的恢复成功率从 13% 提升到 80%。
推荐理由:给出真实机器人和仿真中的安全违规率与恢复成功率具体数字,可作为 VLA 个性化与可靠性方向的对照参考。
论文提出市场式后训练框架 MPT,在去中心化智能体集群中联合学习动作策略与竞价式自组织协作,使个体能力与协作方式共同进化,无需中心协调智能体。在具身制作、机器人导航与深度研究任务上的实验显示,该方法优于单体后训练;在同一套后训练动作策略下,学到的自组织协作优于其他协调策略,消融实验证实动作与竞价均受益于联合学习。
推荐理由:给出了在去中心化智能体集群中联合学习动作策略与自组织协作的方法,并开源代码与模型,便于后续多智能体协同研究复现与对比。
Event-STVG 提出长视频事件推理的时空视频定位任务与大规模基准,将重复事件区分、事件定位、角色推断和多目标定位纳入统一评测。基准覆盖足球及另外7个领域,共标注4,016次事件出现;最强模型在10分钟跨度上的 m-vIoU 仅为5.4%,并持续混淆重复同类事件。代码与标注地址为 https://github.com/THU-KEG/Event-STVG。
推荐理由:基准将重复事件区分、角色推断和多目标时空定位放在同一任务中,便于比较 MLLM 在长视频事件理解上的细粒度能力差异。
研究人员用 AI 蛋白设计工具改造两类蛋白酶的催化核心并替换其余结构,得到可定向切割特定蛋白质的酶,并在神经疾病相关蛋白上完成验证。
推荐理由:AI 蛋白设计工具被用于改造蛋白酶骨架,所得酶可定向切割特定蛋白,并在神经疾病相关蛋白上完成验证。
研究人员发布 Design Creativity Bench,在 80 个开放性 UI 任务、两种产品域上评估 16 个前沿模型的 UI 设计创造力,从原创性、创意范围和适配性三个维度衡量。
推荐理由:用原创性、创意范围和适配性三维度衡量前沿模型的 UI 设计创造力,给出与人类设计师的具体分数差距。
AI2 发布 HiRO-ACEv2 气候模拟系统,可生成全球 3 km 数据,成本约为 X-SHiELD 的 1/300。新版下采样模型 HiROv2 同时预测多个高分辨率场,对仅百万分之一概率的极端事件统计误差控制在 3% 以内,并准确估计训练时未见的热带气旋能量。系统附带可下载模型、教程笔记与 Web Demo,未来计划加入 4°C 升温情景。
推荐理由:3 km 全球气候模拟成本约为传统模型的 1/300,并附论文与教程,读者可据此评估其对极端气候研究的可及性。
Google Research 在 Research@ 2026 大会上集中展示十项研究进展,覆盖地球智能、医疗 AI、灾害预测、端侧硬件与教育等多个方向。
推荐理由:原文同时给出多款新工具的能力边界与接入方式,读者可以横向比较这些工具在科研、医疗、灾害预警等场景下的实际可用性。
Microsoft 联合 MIT、ECMWF 等机构在 Nature 发表了 Probabilistic Bias Correction(PBC)方法及开源工具,用于修正 2 至 6 周天气预报的系统性偏差。
推荐理由:原文给出具体的精度提升数字与仅需 CPU 即可运行的轻量化特性,读者可据此判断该方法在资源受限气象机构的落地门槛。
JevGPT 提出面向自主研究智能体的双系统架构,System Two 设定证据目标并整合发现,System One 定位支撑材料、评估相关性并通过原文段落反馈驱动下一步研究。在固定语料问答和文档排序实验中,JevGPT 在保持领先任务表现的同时比同档研究智能体更快且成本更低,并覆盖更广的来源和支撑文档。
推荐理由:原文给出快慢双系统设计与证据闭环的具体实现和实验数据,读者可以据此评估它在自主研究工作流中的可迁移性。
WorldRecon 提出基于 TRELLIS.2 的多视角生成式重建框架,从无位姿 RGB 图像恢复完整的大规模 3D 场景网格。它先由重建模型估计全局点云与相机位姿并分块,再以基于重建的条件架构在每个块上产出 PBR 材质与稀疏结构,并通过邻域感知潜在补全与因果生成在块间传播结构、几何与材质信息。
推荐理由:基于 TRELLIS.2 的多视角生成式重建给出了室内场景的具体提升幅度,便于与现有 3D 重建方法横向比较。
LifeSearch 是面向现实生活与办公场景的深度研究智能体基准,包含 203 个中英文任务,覆盖 7 个具体生活与生产力领域。论文经过 4500 多人时人工标注,构建 4000 多条专家撰写的细粒度评分准则,并在统一评测框架下测试了 12 个深度研究智能体;其中表现最好的 GPT-5.6 Sol 也仅取得 63.4% 的分数,基准综合得分与人类判断的 Spearman 相关系数达 0.89。
推荐理由:论文给出基准结构、人工标注规模和 12 个智能体的实测分数,读者可直接对照自身 DR 系统的能力差距。
White Circle 研究人员发表预印本,提出名为 RISE(Red-teaming via Iterative Strategy Evolution)的红队测试方法,可绕过 OpenAI 与 Google 图像模型的安全过滤。
推荐理由:White Circle 公开 RISE 红队测试方法和 13% 绕过率等结果,读者可据此评估前沿图像模型安全声明的可靠性。
WorkRover 是一个通过递归环境演化训练长程协作智能体的框架,提出 Factorial Compatibility Replay(FCR)和 Verifier-to-Turn Credit Assignment(VTCA)来支持环境迭代修正并细化训练信号。
推荐理由:论文提出用递归环境演化训练长程协作智能体的框架,给出环境修正和信用分配机制,并在多个办公基准上报告了具体提升幅度。
Fish Audio 发布开源语音生成模型 Drama 3 的技术报告,基于 35B 参数 MoE 主干(每 token 激活 3B),在单卡 H200 上以 271 fps 解码,速度高于参数量更少的前代 S2(177 fps)。
推荐理由:原报告给出 35B 参数 MoE 语音生成模型的架构与单卡推理速度对比,读者可据此评估多轮修改与长音频流式生成的实际表现。
GreenWAM 提出一个跨 20 种机器人形态的共用关节动作空间,通过联合训练让同一模型同时承担世界模型和策略两个角色。它在 WorldArena 1.0 轨迹、深度和 3D 预测上领先,在 RoboTwin 2.0 进入前列,并在 LIBERO-plus 取得对比方法中最高的零样本成功率;适配到真实人形机器人后表现优于基于 π₀.₅ 和 Cosmos 3 Edge 的策略。
推荐理由:论文给出统一世界模型在20种机器人形态上的联合训练和评测结果,便于对比它与专用策略在不同任务上的差距。
WAVE-0 提出一个用 257M 轻量潜在世界模型桥接 VLA 策略与世界动作模型(WAM)的框架,把 VLM 生成的潜在动作计划转译为未来预测表示,并据此直接指导动作生成。
推荐理由:原文在不依赖像素重建和大规模视频预训练的前提下,把未来预测接入动作生成,给出了多个机器人基准的对比结果。
FlashVSR+ 在架构上引入混合注意力、在训练上提出 Ry-DMD 奖励分布匹配蒸馏,实现更高效的偏好对齐视频超分。架构侧相对 DiT 最高提速 2×、峰值显存降低 45%,单张 24GB RTX 4090 即可完成无空间分块的 4K 视频超分;训练侧通过奖励加权教师 rollout 将黑盒奖励引入分布匹配,无需经过奖励模型反向传播,且方法可迁移到 T2I 生成。
推荐理由:在 DiT 基线之上获得最高 2× 提速与 45% 显存下降,并提出把黑盒奖励引入分布匹配蒸馏的 Ry-DMD 方案。
Tev 论文提出长程智能体训练数据集 Tev-Gym(含 1170 个跨 7 领域任务)和进度-势能奖励塑形方法 PPRS,并据此训练 Tev-27B。该模型在 ALE-CM 上 Pass@5 与 GPT-6 Astra、Claude Opus 5 持平,并泛化到 Terminal-Bench 3.0/4.0,超过 GLM 5.2 和 Gemini 3.7 Flash。
推荐理由:原文同时给出长程智能体训练数据集 Tev-Gym 和稠密奖励塑形方法 PPRS,可作为同类智能体训练流程的参考方案。
Open-o3-Video-v2 将视频推理建模为统一的智能体证据获取流程,先识别缺失信息、获取额外观察,再把支持推理的时空对象定位写入轨迹后继续作答。
推荐理由:原文提出把视频推理拆为可验证证据获取的智能体流程,并给出具体基准结果,读者可据此评估该范式在长视频任务上的实际收益。
ReTerm 提出让终端智能体从自身失败中学习恢复的自改进方法,基于 Qwen3.5-9B 的 ReTerm-9B 在 Terminal-Bench 2.0 上达到 34.8% Pass@1,较基模型提升 14.6 点。
推荐理由:论文提出让终端智能体从失败状态自我恢复的在线强化学习方法,为提升长任务可靠性提供了可复用的训练范式。
Cepheid 提出一种跨几何族稠密运动补全方法,通过学习无量纲先验并从可观测值估计振幅,将残差结构与物理尺度解耦。统一模型在所有评估族上均优于无参数调和扩展,包括未见的布料与四足动物,且无需骨架、配准或跨网格对应。同一先验无需重新训练即可应用于点追踪动物视频与机器人抓取软体任务。
Agent-Reflex 是一个面向语言智能体的通用反思训练框架,包含环境反思技能发现(RSD)、反思监督微调(ReSFT)和反思策略优化(ORPO)三个阶段。
EgoExplorer是一个100小时的人类移动操作穿戴式观测集,将第一人称视频、重建全身动作、手指精细关节和触觉观测对齐,并配有步骤级描述。
推荐理由:论文给出100小时穿戴式多模态数据集与Calibrate-Complete-Constrain重建流程,可作为具身智能与仿真重定向的数据与方法参考。
VideoJev 提出将视频理解与交互统一为结构化决策任务的 System One 模型族,把预训练多模态大语言模型的自回归解码替换为对时间区间与文本选项打分的共享头,从而同时覆盖时序定位和多选视频问答。
推荐理由:原文给出了统一决策接口在时序定位和视频问答上的精度增益与实测加速比,便于评估其在长视频智能体工作流中的可复用程度。
AesCode 论文提出以设计图为表示、用参考图像做美学引导的视觉化代码生成框架,结合确定性验证器与 VLM 评判的解耦跨模态奖励,通过带逐通道归一化的强化学习联合优化布局、美学与可验证正确性。
推荐理由:原文给出设计图驱动的解耦跨模态奖励方案及相对 Qwen3-VL 的具体提升幅度,可作为视觉化代码生成方向的方法参考。
本文系统研究 VLM GUI 智能体中记忆模态的选择问题,发现最优记忆表示随交互步骤强烈变化;据此提出 SwitchMem 路由框架,每步动态在文本与视觉记忆之间切换,在三个 GUI 基准上优于使用静态记忆的记忆增强基线。代码与项目页见 https://txxnrd.github.io/switchmem。
推荐理由:通过系统研究指出 GUI 智能体的最优记忆模态随交互步骤变化,并提出动态切换框架在三个基准上优于静态基线。
Urbex 是一个面向城市级3D场景的智能体视觉-语言框架,将空间定位重构为主动空间搜索,让 VLM 智能体在多视图环境中查询地标、放大局部并提交 bounding box。
DeltaTTG 提出用 Token-to-Go(TTG,剩余待生成 token 数)作为进度信号训练多轮智能体,通过冻结的共享进度计在 RLVR 训练中将回合级优势重新分配到各步,不改变回报的符号与 token 平均尺度。
推荐理由:原文给出了用剩余 token 数作为进度信号的训练方法及多基准对比结果,读者可以据此判断它对多轮智能体 RLVR 的迁移价值。
AlphaNIST 用二元任务奖励和大规模多样化仿真经验,训练同一策略在 NIST 装配任务板 #1 上完成全部 20 项异构装配任务。方法核心是 Success-guided sampling(SGS),根据当前成功率动态调整起始状态的采样权重,覆盖松散零件、手内抓取和部分装配体等异构起点。
推荐理由:原文把预设动作的传统装配方法与靠二元奖励和多样化经验自主学习的方案做了对比,读者可以据此理解 SGS 采样策略在其中的作用。
开发者 lasu 开源 Parsimony 基准,量化 AI 编码模型在完成任务时净增了多少代码单元。它复用 SWE-bench Verified 已发布的 patch,按净增单元数(新增减去删除)排序而非按行计数,目前仅支持 Python。榜单显示代码量更小的模型并未解决更多任务,模型排名与解决数的 Spearman 系数为 0.33–0.60,所有模型共用 mini-SWE-agent 运行。
推荐理由:Parsimony 把 AI 编码模型的代码净增量做成可比较榜单,给出与解决数并列的另一维度,读者可据此比较不同模型的简洁程度。
GAFU 提出一种后训练框架,将统一多模态模型的生成侧视觉表征压缩为紧凑的 G tokens,再由理解路径按任务条件检索,以提升细粒度视觉理解。论文发现,生成侧表征对细粒度语义变化更敏感,并能捕获理解侧表征遗漏的任务相关变化。
推荐理由:GAFU 的生成侧表征压缩与任务条件检索机制清晰,且与同数据 SFT 基线进行了跨任务、跨架构比较。
Interlock 提出用于长程智能体任务合成的类型化完成图框架,通过跨组件约束、智能体验证和自训练改善任务完成表现。完成图会被编译为可重置工作区、公开请求与评估量表,系统保留被判定满足全部强制要求的执行轨迹。
推荐理由:Interlock以类型化完成图表示长程任务,并结合智能体验证与自训练,在三项外部任务基准上均取得提升。
CommerceGen-Studio 提出一个面向电商 SKU 主图生成的端到端三阶段框架,结合 PERL-Agent 元数据蒸馏、Layout Thinker Optimization(布局优化)与 SKU-DiT 多条件扩散模型,在日处理百万张图像的生产规模下同时维持主体一致性、商标完整性与字符级文本准确性。
推荐理由:原文提出了可在日处理百万张图像规模下运行的电商主图生成三阶段框架,并公开了配套的硬例评测基准。