ProgAgent:用程序化训练提升大语言模型工具编排能力
ProgAgent 提出了一种基于程序化工具调用(PTC)的智能体训练框架,让模型通过可执行代码和运行时变量调用工具,而不是把工具响应依次堆进上下文。
推荐理由:原文给出了 PTC 与 DTC 在长链路工具调用任务上的直接对比,读者可以据此判断训练范式对智能体表现的提升幅度。
内容类型
值得读的 AI 论文与研究成果:架构创新、训练方法、能力测量与理论进展。
637 条精选近 30 天 604 条共收录 748 条
ProgAgent 提出了一种基于程序化工具调用(PTC)的智能体训练框架,让模型通过可执行代码和运行时变量调用工具,而不是把工具响应依次堆进上下文。
推荐理由:原文给出了 PTC 与 DTC 在长链路工具调用任务上的直接对比,读者可以据此判断训练范式对智能体表现的提升幅度。
研究者提出 Dynamic Band Splitting(DBS)端到端框架,可在固定频带 token 预算下学习音频源分离中的频带切分位置,使频带边界随每个混合信号自适应调整。
推荐理由:给出 DBS 在 BSRNN、TIGER、BS-RoFormer、MelRoFormer 上的迁移效果与具体 SI-SDR 数字,可供做频带分离的研究者直接对照改进幅度。
KV4-RL 用 INT4 KV cache 量化结合对 attention sink 和近期上下文的 INT8 保护来加速 RLVR 异步 rollout。
推荐理由:论文把 RLVR 异步 rollout 的 KV 负载集中现象做了量化,并给出兼顾 INT4 加速与采样精度的可迁移训练方案。
LightVAE 是一个视频 VAE 压缩框架,通过将 Conv3D 层重参数化为聚合空间响应与差分驱动的时序校正,并对时序部分做低秩近似,再结合宽度保持的块剪枝和探测引导的特征对齐来恢复画质。
推荐理由:提出针对视频 VAE 的 Conv3D 重参数化和时序低秩压缩方法,在多种 VAE 骨干和两代 GPU 上给出具体加速数据,便于与现有高效解码器对比。
论文提出技能适配方法,利用元技能重写现有技能以匹配执行器能力,在无需更新模型参数的情况下提升 LLM 智能体的 Harness 自进化效果。在七个模型和三个基准上,103 个任务与技能组合可使 GPT-5.6-luna 提升 31.1 分,却让 Gemma-4-E4B 下降 8.8 分;弱模型失败运行中有 86% 已违反技能中写明的要求。
推荐理由:论文给出了一套可迁移的方法,先诊断执行失败,再按模型能力改写技能并纳入五轮自进化循环以改善得分。
研究者提出 Last Secure Code Benchmark,用 450 个任务覆盖 Java、C、C++、JavaScript、Python、PHP、Go 七种语言和 24 个 CWE(含 21 个 2025 CWE Top 25 与 8 个 Top 10 KEV 弱点)。
推荐理由:覆盖 7 种语言与 450 个真实漏洞任务,给出 6 款前沿编码智能体在功能与安全两个维度的通过率差距。
BridgeWAM 提出 Bridge-of-Experts 架构,通过 32 个 Latent Bridge Queries 把视觉、语言与本体感知先验聚合到共享潜空间,将 Video Expert 与 Action Expert 解耦到不同深度(30 层 vs. 2 层)。
推荐理由:用 32 个潜在桥接查询把视频与动作专家解耦到不同深度,FLOPs 下降同时刷新 LIBERO 系列基准。
ViSkill 提出视觉原生技能学习框架,将成功交互编码为 VLM 智能体可直接调用的视觉技能卡;检索到的技能同时用于推理和奖励塑形,成功轨迹再回流到技能库,形成技能积累与策略优化的闭环,并提供可选的冷启动机制。
推荐理由:原文将视觉经验编码为可复用技能卡,让 VLM 智能体在闭环中积累技能并优化策略,提供了多环境下的基线对照。
论文提出 COAP(Code-Only-as-Policy)范式,让代码替代 VLM/VLA 直接从相机图像与本体感知中测量、追踪并决策机器人任务状态。该范式带来显式状态、可控执行与可扩展代码库三项优势,任务间能复用、继承同一库。
推荐理由:原文提出 COAP 范式,把机器人决策完全交给代码而无需 VLM/VLA 参与,并通过 42 项双臂任务的 70.24% 成功率展示了可递归自我改进的代码库积累路径。
Memento 3 提出让冻结的大语言模型代理通过外部自然语言规则手册持续学习显式世界模型的方法,主体通过观察、反思、规则修订、编译与验证的闭环来递归自我改进。在 ARC-AGI-3 全部 25 个公开关卡上通关,平均相对人类动作效率达 100.0,仅用 44% 的人类动作数;在 Atari Pong 案例中,学到的反馈控制器在三次不同开局中均以 21:0 获胜,且不再需要额外的大语言模型调用。
推荐理由:原文把冻结大语言模型通过自然语言规则手册持续更新世界模型的方法写成可验证流程,并给出 ARC-AGI-3 与 Atari Pong 上的具体结果。
研究团队发布音视频字幕评测基准 OmniCapBench,把预测目标从自由文本改为可验证的原子单元,覆盖实体指代、视觉镜头和音频事件三条轨道。基准包含 786 个密集标注视频,通过确定性约束检查和局部语义对比定位 MLLM 在时间对齐、身份漂移、跨模态错位和幻觉描述上的具体错误。评测前沿 MLLM 显示其局部感知较强,但长程音视频推理明显偏弱,尤其在身份漂移和跨模态错位上问题突出。
推荐理由:该基准把音视频字幕评估拆成三条可验证轨道,能精确定位 MLLM 的具体感知错误,为全模态模型的改进提供可迁移的诊断路径。
论文提出 RISEBench 与升级版 RISEBench++,面向推理驱动的视觉编辑任务,并发布训练免费的智能体框架 RISE-Agent。RISEBench++ 拆出六类推理维度共 65 个细粒度任务类型,包含 1000 条英中人工标注样本;评测 58 种编辑方法后,最强的 GPT-Image-2.5 Sunburst 也仅取得 56.6% 准确率。
推荐理由:RISEBench++ 把视觉编辑任务拆成六类推理维度并评测 58 个方法,最强模型仅有 56.6% 准确率,为推理型视觉编辑的能力差距给出可复用的基准。
论文提出 FreeMatching 稠密对应匹配框架,融合生成式与语义基础表征,并在图像编辑与参考引导生成(IEG)场景中保持身份一致性。实验显示单一模型在 IEG 图像对上显著提升匹配质量,同时在经典基准上保持竞争力,其匹配分数与人类判断相关,可作为身份保持的定量评估指标。代码已开源:https://github.com/luping-liu/FreeMatching。
推荐理由:原论文提出不依赖时空先验的稠密匹配框架 FreeMatching,并在图像编辑场景下验证了可量化的身份保持评估方法。
字节Seed团队发现DeepSeek-V4在同一信息仅改变输入位置时,检索准确率会随分块KV Cache压缩步长周期性波动,最高差距达40.2个百分点。
推荐理由:分块KV Cache压缩会随步长引入周期性检索弱点,文中给出按压缩相位分别评测的方法,对评估同类长上下文模型有参考价值。
本文在多模态语言模型中发现一个名为 S-Space 的线性表征子空间,其物体 token 表征会沿水平、垂直和距离轴编码连续坐标,并随非空间问题也保持可读。研究表明 S-Space 是模型内部的空间工作区,可被感知写入、内部推理转换,并在语言回答时被选择性读取。作者进一步把它用作空间推理失败的诊断工具,指出模型虽能形成合格的空间表征,但在跨视角变换所需的空间推理上存在关键瓶颈。
推荐理由:提供把多模态语言模型空间表征拆成可读子空间的方法,能用来诊断空间推理失败并定位瓶颈。
Google 联合贝斯以色列女执事医疗中心(BIDMC)的研究登上《柳叶刀》主刊,报告了诊断 AI 聊天机器人 AMIE 在真实门诊初级保健场景下的临床试验结果。
推荐理由:Google 主导的医疗 AI 研究登上《柳叶刀》主刊,给出受监督试验中的具体数字,读者可据此评估医疗 AI 在真实场景的可用性。
研究团队提出 VibeEdit 图像编辑界面,将用户在图上直接放置的空间标记和简短备注作为画布指令,无需文字 prompt 即可完成对象增删、替换、属性修改和移动。
推荐理由:原文给出画布指令的交互方式、层解耦条件编码与分阶段训练方法,并附自建 419 例基准的对比数据,可作为图像编辑交互设计的迁移参考。
MiMo-V2.6 是一个面向自我提升的全模态模型系列,沿三条维度扩展强化学习算力:在最长 1M 上下文下,每步处理 1,568 样本、2.7-3.7B token 的异步训练;覆盖代码、通用、视觉和赛博领域的智能体环境;以及通过分组智能体评分提供更长链任务奖励信号。为稳定训练,论文还冻结 MoE 路由器并建立多层防奖励作弊机制,并开源训练动态、RL 环境和 RL 框架。
推荐理由:报告给出了训练算力、采样与环境三维度扩展的具体数字与稳定策略,并开源训练动态与框架,可作为大规模 RL 训练的参考路径。
研究提出多智能体自我中心世界模型 ME-World,把共享环境中多个智能体的细粒度交互建模为多个自我视角流的同步去噪生成。模型在共享 token 序列中联合去噪多路自我视角流,条件于全部智能体的目标视角位姿,并以共享环境记忆锚定生成。论文在真实与合成多智能体数据上训练和评估,并新增共享世界一致性指标,实验显示 ME-World 在共享世界一致性、动作控制、身份保持和视频质量上优于已有方法。
推荐理由:原文给出同步去噪多路自我视角流的建模思路与共享世界一致性指标,可供多智能体具身交互研究复用。
SparseDecoding 提出一种面向大语言模型解码阶段的感知剪枝框架,把校准数据改为模型自回归生成时的激活以对齐解码分布。
推荐理由:原文把剪枝校准对齐到解码阶段真实激活并搭配 SpMV 内核,给出 A100 上 1.48x 加速,可作为推理部署剪枝优化的参考。