Vela:用真实用户行为作监督信号微调大语言模型
Vela 把 10 万用户的匿名行为记录转换为约 7.5 万条训练任务,用于微调大语言模型。在千问 Qwen3.6-35B-A3B 上微调后,用户相关任务最高提升 11.5 分,通用基准平均提升约 4 分;先微调再做强化学习,比直接从基模型做强化学习最高再提升 7.7 分。
推荐理由:原文给出从用户行为到训练数据的具体流程与提升数字,可作为构建用户感知能力的参考。
Vela 把 10 万用户的匿名行为记录转换为约 7.5 万条训练任务,用于微调大语言模型。在千问 Qwen3.6-35B-A3B 上微调后,用户相关任务最高提升 11.5 分,通用基准平均提升约 4 分;先微调再做强化学习,比直接从基模型做强化学习最高再提升 7.7 分。
推荐理由:原文给出从用户行为到训练数据的具体流程与提升数字,可作为构建用户感知能力的参考。
研究团队提出 Image Factuality Assessment 任务,目标是对一张图像判定其描绘的情景是否被外部证据支持,并发布 EviLens 基准(10,174 张图像,覆盖 12 类事实错误)与 EviScene 多模态 ReAct 智能体。
推荐理由:原文把图像判别从是否 AI 生成推进到画面事实是否成立,给出基准和一个可直接复用的多模态 ReAct 智能体。
这篇论文在 MMEB 基准上系统评估了多模态嵌入对比学习的多种负样本选择、批次构建与梯度调节策略,发现多数现有策略相比标准对齐基线增益有限,部分甚至会降低整体性能。
推荐理由:论文在统一框架下复现并对比了多种对比学习策略,揭示出多数策略增益有限,并给出三条失败模式与可迁移的训练组合方案。
ProgAgent 提出了一种基于程序化工具调用(PTC)的智能体训练框架,让模型通过可执行代码和运行时变量调用工具,而不是把工具响应依次堆进上下文。
推荐理由:原文给出了 PTC 与 DTC 在长链路工具调用任务上的直接对比,读者可以据此判断训练范式对智能体表现的提升幅度。
研究者提出 Dynamic Band Splitting(DBS)端到端框架,可在固定频带 token 预算下学习音频源分离中的频带切分位置,使频带边界随每个混合信号自适应调整。
推荐理由:给出 DBS 在 BSRNN、TIGER、BS-RoFormer、MelRoFormer 上的迁移效果与具体 SI-SDR 数字,可供做频带分离的研究者直接对照改进幅度。
KV4-RL 用 INT4 KV cache 量化结合对 attention sink 和近期上下文的 INT8 保护来加速 RLVR 异步 rollout。
推荐理由:论文把 RLVR 异步 rollout 的 KV 负载集中现象做了量化,并给出兼顾 INT4 加速与采样精度的可迁移训练方案。
LightVAE 是一个视频 VAE 压缩框架,通过将 Conv3D 层重参数化为聚合空间响应与差分驱动的时序校正,并对时序部分做低秩近似,再结合宽度保持的块剪枝和探测引导的特征对齐来恢复画质。
推荐理由:提出针对视频 VAE 的 Conv3D 重参数化和时序低秩压缩方法,在多种 VAE 骨干和两代 GPU 上给出具体加速数据,便于与现有高效解码器对比。
论文提出技能适配方法,利用元技能重写现有技能以匹配执行器能力,在无需更新模型参数的情况下提升 LLM 智能体的 Harness 自进化效果。在七个模型和三个基准上,103 个任务与技能组合可使 GPT-5.6-luna 提升 31.1 分,却让 Gemma-4-E4B 下降 8.8 分;弱模型失败运行中有 86% 已违反技能中写明的要求。
推荐理由:论文给出了一套可迁移的方法,先诊断执行失败,再按模型能力改写技能并纳入五轮自进化循环以改善得分。
研究者提出 Last Secure Code Benchmark,用 450 个任务覆盖 Java、C、C++、JavaScript、Python、PHP、Go 七种语言和 24 个 CWE(含 21 个 2025 CWE Top 25 与 8 个 Top 10 KEV 弱点)。
推荐理由:覆盖 7 种语言与 450 个真实漏洞任务,给出 6 款前沿编码智能体在功能与安全两个维度的通过率差距。
BridgeWAM 提出 Bridge-of-Experts 架构,通过 32 个 Latent Bridge Queries 把视觉、语言与本体感知先验聚合到共享潜空间,将 Video Expert 与 Action Expert 解耦到不同深度(30 层 vs. 2 层)。
推荐理由:用 32 个潜在桥接查询把视频与动作专家解耦到不同深度,FLOPs 下降同时刷新 LIBERO 系列基准。
ViSkill 提出视觉原生技能学习框架,将成功交互编码为 VLM 智能体可直接调用的视觉技能卡;检索到的技能同时用于推理和奖励塑形,成功轨迹再回流到技能库,形成技能积累与策略优化的闭环,并提供可选的冷启动机制。
推荐理由:原文将视觉经验编码为可复用技能卡,让 VLM 智能体在闭环中积累技能并优化策略,提供了多环境下的基线对照。
论文提出 COAP(Code-Only-as-Policy)范式,让代码替代 VLM/VLA 直接从相机图像与本体感知中测量、追踪并决策机器人任务状态。该范式带来显式状态、可控执行与可扩展代码库三项优势,任务间能复用、继承同一库。
推荐理由:原文提出 COAP 范式,把机器人决策完全交给代码而无需 VLM/VLA 参与,并通过 42 项双臂任务的 70.24% 成功率展示了可递归自我改进的代码库积累路径。
Memento 3 提出让冻结的大语言模型代理通过外部自然语言规则手册持续学习显式世界模型的方法,主体通过观察、反思、规则修订、编译与验证的闭环来递归自我改进。在 ARC-AGI-3 全部 25 个公开关卡上通关,平均相对人类动作效率达 100.0,仅用 44% 的人类动作数;在 Atari Pong 案例中,学到的反馈控制器在三次不同开局中均以 21:0 获胜,且不再需要额外的大语言模型调用。
推荐理由:原文把冻结大语言模型通过自然语言规则手册持续更新世界模型的方法写成可验证流程,并给出 ARC-AGI-3 与 Atari Pong 上的具体结果。
研究团队发布音视频字幕评测基准 OmniCapBench,把预测目标从自由文本改为可验证的原子单元,覆盖实体指代、视觉镜头和音频事件三条轨道。基准包含 786 个密集标注视频,通过确定性约束检查和局部语义对比定位 MLLM 在时间对齐、身份漂移、跨模态错位和幻觉描述上的具体错误。评测前沿 MLLM 显示其局部感知较强,但长程音视频推理明显偏弱,尤其在身份漂移和跨模态错位上问题突出。
推荐理由:该基准把音视频字幕评估拆成三条可验证轨道,能精确定位 MLLM 的具体感知错误,为全模态模型的改进提供可迁移的诊断路径。
论文提出 RISEBench 与升级版 RISEBench++,面向推理驱动的视觉编辑任务,并发布训练免费的智能体框架 RISE-Agent。RISEBench++ 拆出六类推理维度共 65 个细粒度任务类型,包含 1000 条英中人工标注样本;评测 58 种编辑方法后,最强的 GPT-Image-2.5 Sunburst 也仅取得 56.6% 准确率。
推荐理由:RISEBench++ 把视觉编辑任务拆成六类推理维度并评测 58 个方法,最强模型仅有 56.6% 准确率,为推理型视觉编辑的能力差距给出可复用的基准。
论文提出 FreeMatching 稠密对应匹配框架,融合生成式与语义基础表征,并在图像编辑与参考引导生成(IEG)场景中保持身份一致性。实验显示单一模型在 IEG 图像对上显著提升匹配质量,同时在经典基准上保持竞争力,其匹配分数与人类判断相关,可作为身份保持的定量评估指标。代码已开源:https://github.com/luping-liu/FreeMatching。
推荐理由:原论文提出不依赖时空先验的稠密匹配框架 FreeMatching,并在图像编辑场景下验证了可量化的身份保持评估方法。
字节Seed团队发现DeepSeek-V4在同一信息仅改变输入位置时,检索准确率会随分块KV Cache压缩步长周期性波动,最高差距达40.2个百分点。
推荐理由:分块KV Cache压缩会随步长引入周期性检索弱点,文中给出按压缩相位分别评测的方法,对评估同类长上下文模型有参考价值。
本文在多模态语言模型中发现一个名为 S-Space 的线性表征子空间,其物体 token 表征会沿水平、垂直和距离轴编码连续坐标,并随非空间问题也保持可读。研究表明 S-Space 是模型内部的空间工作区,可被感知写入、内部推理转换,并在语言回答时被选择性读取。作者进一步把它用作空间推理失败的诊断工具,指出模型虽能形成合格的空间表征,但在跨视角变换所需的空间推理上存在关键瓶颈。
推荐理由:提供把多模态语言模型空间表征拆成可读子空间的方法,能用来诊断空间推理失败并定位瓶颈。
Google 联合贝斯以色列女执事医疗中心(BIDMC)的研究登上《柳叶刀》主刊,报告了诊断 AI 聊天机器人 AMIE 在真实门诊初级保健场景下的临床试验结果。
推荐理由:Google 主导的医疗 AI 研究登上《柳叶刀》主刊,给出受监督试验中的具体数字,读者可据此评估医疗 AI 在真实场景的可用性。
研究团队提出 VibeEdit 图像编辑界面,将用户在图上直接放置的空间标记和简短备注作为画布指令,无需文字 prompt 即可完成对象增删、替换、属性修改和移动。
推荐理由:原文给出画布指令的交互方式、层解耦条件编码与分阶段训练方法,并附自建 419 例基准的对比数据,可作为图像编辑交互设计的迁移参考。
USDCraft 是一个基于预训练大语言模型的程序化建模框架,无需任务专属训练即可为可动铰接 3D 资产生成可直接载入 Isaac Sim 的 USD 程序。框架通过源几何分析将网格转为区分已观测表面与未知空间的度量文本描述,并结合迭代几何复核与视觉反馈迭代修正程序。该方法在两个基准上取得领先的铰接恢复效果,并在 real-to-sim-to-real 机器人操作任务中得到验证。
OuroWorld 是一个 mask-free 框架,可将任意静态 3D Gaussian Splatting 场景转化为从任意视角无缝循环的 3D cinemagraph,支持一般形变、物体运动和光照变化。
一本名为《Foundations of Large Language Models》的大语言模型教材已在 arXiv 发布,聚焦基础概念而非前沿技术综述。全书共六章,分别讨论预训练、生成模型、提示词、对齐、模型推理与链式推理,面向高校学生及 NLP 领域从业者。论文同时提供 PDF 全文与配套 GitHub 仓库(arXiv:2501.09223)。
MiMo-V2.6 是一个面向自我提升的全模态模型系列,沿三条维度扩展强化学习算力:在最长 1M 上下文下,每步处理 1,568 样本、2.7-3.7B token 的异步训练;覆盖代码、通用、视觉和赛博领域的智能体环境;以及通过分组智能体评分提供更长链任务奖励信号。为稳定训练,论文还冻结 MoE 路由器并建立多层防奖励作弊机制,并开源训练动态、RL 环境和 RL 框架。
推荐理由:报告给出了训练算力、采样与环境三维度扩展的具体数字与稳定策略,并开源训练动态与框架,可作为大规模 RL 训练的参考路径。
研究提出多智能体自我中心世界模型 ME-World,把共享环境中多个智能体的细粒度交互建模为多个自我视角流的同步去噪生成。模型在共享 token 序列中联合去噪多路自我视角流,条件于全部智能体的目标视角位姿,并以共享环境记忆锚定生成。论文在真实与合成多智能体数据上训练和评估,并新增共享世界一致性指标,实验显示 ME-World 在共享世界一致性、动作控制、身份保持和视频质量上优于已有方法。
推荐理由:原文给出同步去噪多路自我视角流的建模思路与共享世界一致性指标,可供多智能体具身交互研究复用。
SparseDecoding 提出一种面向大语言模型解码阶段的感知剪枝框架,把校准数据改为模型自回归生成时的激活以对齐解码分布。
推荐理由:原文把剪枝校准对齐到解码阶段真实激活并搭配 SpMV 内核,给出 A100 上 1.48x 加速,可作为推理部署剪枝优化的参考。
SuperNav 是一个面向通用服务机器人的智能体导航系统,通过为预训练多模态大语言模型加装专用 agent harness 而不进行导航特定微调,让模型专注解析请求、理解场景和做决策,把运动执行交给导航工具。
推荐理由:原文给出将 MLLM 决策与运动执行解耦的 harness 设计,对通用机器人导航与具身智能体的方法迁移有参考价值。
TokenRouter 是面向 token 级 LLM 路由推理的高效服务系统,采用请求中心编程、模型中心执行架构,每个 LLM 启动独立子服务器并配合延迟批处理调度器,调度器超参数由吞吐模型推导得出。
推荐理由:原文给出 token 级路由推理的系统设计与吞吐提升幅度,读者可据此判断该方案对多模型协同推理栈的实际可用性。
DreamTrue 是一个多视角、跨本体机器人的世界模型,通过将动作轨迹渲染到图像空间条件并加入离线几何校准,以及反事实后训练,显著改善了动作跟随与物理合理性。
推荐理由:读者可对比 DreamTrue 与既有机器人世界模型在动作跟随和物理一致性上的差距,并参考其离线几何校准与反事实后训练的组合方法。
AgentGarten 是一个构建实时交互环境的框架,将仿真器或游戏引擎与共享的神经渲染器耦合,通过统一接口从结构化条件生成视觉观测。为训练该渲染器,作者提出 Adversarial Forcing,使历史预填通过精确回放变得可微分,并加入真实数据对抗监督提升视觉质量。实验显示智能体仅需 4 轮交互即可达到传统强化学习方法需数百万轮才能达到的水平,且新世界可作为代码编写并通过同一接口渲染。
推荐理由:它把仿真后端与神经渲染解耦为统一接口,并给出可微的历史回放方案,为可扩展的智能体训练环境提供了具体工程路径。
TerminalHorizon 是一个面向长程终端智能体的全自动数据合成引擎,通过独立执行识别真实职业任务中被省略的关键工作,并以证据引导环境重构、围绕同一目标逐步扩展任务序列。
推荐理由:原论文给出从数据合成到微调训练的完整方法与多基准结果,读者可直接对照自己的智能体训练管线和数据构造思路。
SpatialASM 提出主动空间心智化(ASM)训练框架,让 LVLM 从被动观察图像转为主动规划视角并在内部重建缺失的空间证据,推理时无需额外视图或渲染器。该方法借助 allocentric 新视角生成器合成可验证的"规划—想象—推理"轨迹,在四个 LVLM 主干与七个空间基准上提升了空间推理能力,同时保持通用视觉能力。
CompactSplat 提出前馈3D场景重建框架,通过纹理引导的空间分区和分层采样自适应分配3D高斯图元,改善几何与纹理恢复。该方法支持推理时动态控制稀疏度,无需重新训练即可权衡渲染保真度与内存占用。
推荐理由:论文将纹理引导的空间分区与分层采样结合,给出动态控制稀疏度、减少图元并改善几何与纹理恢复的可复用方法。
论文针对像素扩散 Transformer,提出 Representation Guidance(RG):通过低维瓶颈把生成相关信息压缩进紧凑表示,并据此修改流匹配目标来引导解码器生成。
推荐理由:论文提出 Representation Guidance,用低维瓶颈压缩生成相关表示并据此修正流匹配目标,在 ImageNet 256x256 上以 459M 参数跑出 FID 1.55。
APEX-Harm 是一个用于评估长时程智能体在大型多工具工作区中抵御 prompt 与脚本注入攻击能力的新基准。任务覆盖金融、咨询和法律场景,每个任务含 115–328 个文件,并通过 MCP server 提供邮件、日历、聊天、文档、电子表格、PDF 与代码执行工具。
推荐理由:在 12 个前沿模型上测得具体攻击成功率与任务得分,提供了多工具场景下智能体安全性的横向比较依据。
Harness^2 提出一个即插即用的递归式智能体 Harness 演化框架,通过任务级与 Harness 级两层递归,在缺乏真实验证器的开放场景下自动改进 LLM 智能体的执行 Harness。
推荐理由:针对开放场景下 LLM 智能体 Harness 自动演化缺乏可靠验证器的难题,提出两层递归的即插即用框架,并报告在多个专业基准上的具体提升幅度。
研究提出 GraphDecisionBench 模型无关基准,评测 Jev 等 System One 模型在图任务上的决策能力,覆盖 14 种模型接口配置。测试发现:精确的邻接识别并不保证更广泛的结构正确性,联合图-文输入未必提升预测质量,可行构造也不等于高解质量。代码与汇总结果已在 GitHub 开源。
论文提出 Multi-Stream Attention Residuals(MSAR),将 Attention Residuals 沿深度轴的单流 softmax 注意力推广为多流多尺度结构,通过多尺度因果卷积为不同注意力头提供不同上下文视图,再经轻量自适应混合生成层输入,无需持久多流存储或通信。
推荐理由:原文给出 MSAR 在 18B 与 28B MoE 规模下相对 AttnRes、mHC 的加速对比,可作为残差结构选型的参照。
APEX 用分层潜空间加异步去噪把扩散生图压到 64 个 token,匹配训练与推理算力时画质仍超过 256 token 基线,token 用量降到原来的 1/4。该方法还让通道缩放在高压缩场景下保持可用,缓解其他方法出现的画质退化。
推荐理由:APEX 用分层潜空间配合异步去噪把生成 token 压到 64 个,仍超过 256 token 基线,给高压缩场景下的扩散生图提供了一条可借鉴路线。
PreSTO 提出针对 PowerMH 幂次采样的子树预取加速方法,在不改变 Metropolis–Hastings 转移核的前提下,把未来提议以一个模型调用批量预取,再沿已实现路径用原 MH 规则接受。
推荐理由:在保持 MH 转移核不变的前提下给出可复现的推理加速方法,并附带在多个数据集与模型上的实测数据,便于迁移到其他采样器优化。