AgentProofBench:Web 智能体可复用验证器基准评测
论文提出 AgentProofBench,将冻结验收规则的成对测试与执行轨迹相连,用于评测 Web 智能体可复用验证器的程序门控正确性与复用能力。
推荐理由:AgentProofBench 将冻结验收规则与执行轨迹配对,在 97 个任务、79 个任务族和 4 个 Web 服务上建立程序门控正确性与复用表现的基线。
论文提出 AgentProofBench,将冻结验收规则的成对测试与执行轨迹相连,用于评测 Web 智能体可复用验证器的程序门控正确性与复用能力。
推荐理由:AgentProofBench 将冻结验收规则与执行轨迹配对,在 97 个任务、79 个任务族和 4 个 Web 服务上建立程序门控正确性与复用表现的基线。
研究团队通过多基准和多模型骨干的大规模评测,发现许多专用记忆系统在许多情况下不如朴素 RAG,呈现出负的净价值。作者以 RAG 为参照,将净价值拆为记忆收益与记忆税,从系统与评测两侧分析其成因,并将该概念推广到更多记忆应用场景。作者表示将向社区开源代码和结果,项目页为 https://hexuan21.github.io/MemoryTax/。
推荐理由:论文以朴素 RAG 为参照,把专用记忆系统的收益与证据损失拆开衡量,并聚焦常被忽视的记忆税,为长时程智能体的记忆设计和评测提供分析框架。
ProAS提出用于LLM智能体多轮强化学习的即插即用框架,通过动态参考图实现细粒度信用分配。在Qwen2.5-1.5B-Instruct和Qwen2.5-7B-Instruct实验中,ALFWorld峰值成功率分别为91.9%和94.3%,WebShop分别为66.7%和70.8%,训练收敛最多加速2.44times。
推荐理由:ProAS将动态参考图、屏蔽不合理激励与非对称惩罚重分配结合,提供了改进多轮智能体强化学习信用分配的方案。
ParetoRSI-Gym 在固定初始 LLM、工具集和 SFT 流程的条件下,评估递归自我改进智能体通过搜索与筛选数据、训练并迭代提升语言模型跨领域泛化的能力。
推荐理由:研究通过固定模型和训练流程,在五个领域比较智能体的递归自我改进效果,并分离能力增益与针对优化分数的过拟合。
论文提出 Δτ-Bench 可执行智能体评测基准,考察工具持续演化时的适应能力,并提出 Steward 生态管理器以联合管理工具与程序性知识。基准包含 1,588 个经验证的多轮任务,覆盖 42 个领域和六个连续生态状态;受测模型与框架的最好任务成功率仅为 42.3%,现有技能学习方法的初始收益也未能稳定转化为后续适应能力。
推荐理由:论文用可执行任务量化智能体在工具生态变化下的适应难题,受测模型与框架的最好任务成功率仅为42.3%。
RynnVLA-Latent 从人类、机器人和仿真交互视频学习连续、3D接地的潜在动作,用于扩展机器人操作基础模型的预训练监督。框架处理30.1K小时视频,生成745.52M潜在动作描述符,并以flow matching训练4B策略,再适配到具体机器人形态的动作。
推荐理由:论文展示了从异构视频生成3D接地潜在动作的预训练方法,并附有数据扩展与消融结果,可供机器人策略研究者对照理解。
ChronoReplay 是面向流式视觉语言模型的训练框架,通过按时间顺序组织异构空间监督、保留任务专属答案格式并平衡不同监督族,统一分类关系、度量距离和运动轨迹三类空间推理。它在 OVO-S-Bench、OST-Bench 和 UCS-Bench 上均取得一致提升,OST-Bench 提升 13.41 分,并通过自适应帧选择在降低视觉处理成本的同时改善效果。
推荐理由:ChronoReplay 针对空间模型按答案格式专精导致的接口锁定,呈现多类监督平衡、时间有序回放与自适应帧选择的训练方案及基准结果。
研究提出,LLM 智能体可先使用最低推理力度,仅在确认失败后升级,以匹配或改进固定最高档表现。四个基准覆盖单次调用推理和长程智能体任务;该策略在所有模型和基准上匹配或改进固定最高档表现,并在多数专有模型上降低成本,最高 effort 在所有档位都能解决的简单任务上成本可达最低档的 42x。
推荐理由:论文给出可迁移的推理力度调度结论,先低后升并以确认失败作为升级条件,可用于权衡智能体成本与单题表现。
h1 通过简洁的智能体循环连接 Lean 4,并利用验证器反馈和自我反思,在不使用结构化工作流的情况下达到形式化定理证明 SOTA。
推荐理由:通过同模型对比与消融实验,论文显示形式化定理证明不只取决于复杂工作流,高效 Lean 接口也在很大程度上影响解题率与成本。
Trajectory2Gym 在五个 Qwen3 规模上提升 Tau1、Tau2 和 BFCL,三项基准等权平均提高 16.9-29.8 个百分点。该方法围绕支持不足的组合结构构造可执行交互,只从实际执行中提取由智能体可见历史支撑的决策,并将这些交互作为监督微调单位。其在有状态和多轮交互场景中的增益最强,因为后续决策依赖先前观察与反馈。
推荐理由:论文提出以组合覆盖和可见历史支撑构造工具使用训练交互,并给出跨五个 Qwen3 规模的三项基准增益。
AV-FABLE提出面向长视频稀疏篡改的双时间线音视频取证基准,并以NFSR通过分离的音频与视觉时间解码器读取冻结AV-LLM特征。基准包含 16,650 对原始与篡改孪生视频,共 998 小时和 27 种编辑配置,支持音频与视觉的独立时间定位。
推荐理由:AV-FABLE对比零样本提示与冻结特征读出,展示分离时间解码器在长视频音视频篡改定位上的取证优势。
FORK 奖励联合优化基于评分标准的强化学习中的召回率与精确率,在相近评分覆盖下缩短回答并提高相对基础策略的胜率。精确率目标通过评分标准驱动的必要性信用和事实正确性评分器,要求回答的每个单元既必要又事实正确。
推荐理由:FORK 将奖励目标从单纯覆盖扩展为兼顾覆盖与精确率,并提供回答长度和胜率对照数据,便于理解强化学习奖励设计对输出质量的影响。
Qwen-Image-PE 通过两阶段训练学习视觉设计,把欠明确的用户请求增强为连贯的文本生成图像视觉规格。训练采用 Caption-Based Reverse Distillation(CRD)和 Groupwise Design Reward(GDR),后者联合比较同一请求的候选图像,优化光照、构图、布局与细节。
推荐理由:论文通过两阶段训练把视觉设计纳入提示词增强,并以基准结果和跨骨干泛化实验展示效果,为相关方法研究提供清晰参照。
RSI Arena 通过两阶段实验显示,10 个前沿模型智能体可利用人类反馈独立训练并迭代改进语言模型。
推荐理由:论文提供可审计的两阶段实验框架,比较人类反馈驱动后训练带来的偏好提升、有限基准收益与有害服从风险。
ReGE 将智能体历史执行经验合成为后续尝试可用的指导,在四个基准上将 GPT 和 Claude 的准确率分别平均提高 9.9 和 8.8 个百分点。ReGE-Syn 仅用一次 coach 调用,把有界执行记录和可用产物合成为自包含指导,再由同一基础模型从任务初始环境状态执行,无需参数更新或更强教师模型。
推荐理由:论文将智能体历史执行记录合成为可复用指导,并给出跨四个基准的准确率与 token 用量对比,便于评估经验复用方案。
AutoTavern 的自我改进 LLM 研究智能体在 20 天内构建了 Hearthstone Battlegrounds 模拟器 TavernGym,并训练出可独立完成实战的 TavernAgent。
推荐理由:论文把研究智能体接入模拟器构建、对手校准和策略训练闭环,并计划开源评测任务与模拟器,为复现实验和比较系统能力提供基础。
论文提出开放权重视觉语言模型 RoboJev-27B,利用任务指令、操作尝试的 10 帧以及如有提供的辅助相机末帧判断机器人操作是否成功。
推荐理由:论文公开训练机制、推理代码及包含 20,628 条预测的评测数据,便于对照机器人成功检测方案并复现实验。
PatEx-Gym 提出用于专利审查的智能体框架,整合基准、合成轨迹数据与紧凑型智能体,支持迭代式在先技术检索和新颖性评估。PatEx-Bench 包含 1K 项逼真的审查任务,以及由超过 1M 件专利和 52K 篇科学论文组成的检索语料;PASS 框架生成 PatEx-SynData,并通过监督微调训练 4B 规模的 PatEx-Agent。
推荐理由:论文将专利审查拆分为迭代检索、证据检查与新颖性评估,并用 1K 任务和合成轨迹训练 4B 智能体,提供了与更大通用智能体对照的轻量基线。
Google Research 正将 MedGemma、MedSigLIP 用于一线结核病筛查,覆盖胸片分诊、咳嗽声筛查与本地临床推理。团队通过 HAI-DEF 开源胸片嵌入与 MedSigLIP,并发布 4B、27B 开放权重 MedGemma,后者全球下载量已超过 10 million。
推荐理由:文章串联算法验证、监管认证、跨国部署与本地化微调,呈现医疗 AI 从研究走向临床的转化路径与关键环节。
Ai2 与 University of Pennsylvania 团队开发了 LitPivot,一套面向早期研究构思的系统,可围绕提案的问题、贡献和评测组织文献,并给出有论文摘录支撑的批评与修订建议。
推荐理由:LitPivot 将研究想法拆为问题、贡献和评测三个维度,并用 17 人实验检验文献支撑表现,为文献驱动的构思与修订流程提供交互设计参考。
AnyGameRenderer 将 AI 智能体制作的低质量游戏视频转换为高质量画面,并保持布局、镜头及实体位置与时序一致。模型通过 LoRA 微调 33B 的 MiniMax-H3 ref2va 实现,训练数据来自 38 款 AI 智能体制作游戏、Unreal Engine 渲染和真实游戏录像,兼容灰盒、彩色几何体、语义图与线框输入。
推荐理由:论文同时披露模型训练数据、输入形式和实体级基准结果,为评估视频生成模型能否保持动态场景实体对应提供参照。
FilmFlow 将自然语言指令或参考视频转换为动态 3D 场景中的可执行相机轨迹。Director 智能体组合平移、旋转和构图等原子操作,Interpreter、Scout、Critic 分别解析意图、选择初始视角并提供迭代反馈。
推荐理由:FilmFlow 将导演、意图解析、勘景和审片四类智能体串联,并以 150 个 Blender 场景的 CinemaBench 覆盖文本与视频参考两种生成方式。
论文提出 AgentVQA 离线基准,在 Web 智能体、机器人、第一人称视频、游戏和空间规划五类场景评测视觉语言模型。该基准从 23 个源数据集人工选取并改造 1000 个具有挑战性的真实世界智能体样本;在 22 个参评模型中,最佳准确率仅为 58.5%。跨域分析显示,主要失误来自 UI 元素定位、运动理解、状态变化跟踪和 3D 空间关系推断,而非任务误解或后续逻辑推理。
推荐理由:该基准以离线方式统一比较五类真实智能体场景中的模型,排名趋势与对应在线评测一致,并定位视觉 grounding 和状态跟踪失误。
论文提出 WeVisOne-VL,通过结构化 token 预测统一对象级与像素级视觉感知。该 VLM 借助轻量 pixel decoder 和特殊 <OBJ> token 生成实例级像素输出,并采用三阶段课程训练,先进行 SFT,再进行混合任务 RL。
推荐理由:将检测、定位、OCR、分割与抠图纳入同一 VLM,并给出 30 多个基准结果,为比较细粒度视觉感知方案提供集中参考。
论文提出并开源 IQuest-Q1,一款面向智能体 CLI 系统的稀疏 MoE 基础模型,总参数量 320B,激活参数量 15B。模型通过预训练、中训和后训练三阶段训练,后训练结合 SFT、领域专用 RL 和 MOPD,并通过模型合并整合不同专家与检查点。arXiv 论文地址为 https://arxiv.org/abs/2610.30949。
推荐理由:论文拆解了预训练、中训和后训练三阶段方案,并披露总参数与激活参数,便于对照理解智能体编码基础模型的构建路径。
研究团队发现,Raw-RAG 在七组基准模型设置中的六组位居所比较系统首位,较最强智能体记忆系统高 0.13-5.53 分。该方法仅对未处理的对话历史做稠密检索和重排,并在 LoCoMo、LongMemEval、MEME 和 MemoryAgentBench 上评估。证据分析显示,较高的必要证据覆盖率可以抵消较低利用率;完整访问转换后的记忆存储,准确率仍低于原始证据方案。
推荐理由:这项研究用四个基准对比原始历史检索与复杂智能体记忆,量化了必要证据覆盖率与证据利用率之间的差异。
Cola2 提出一种联合优化连续语义压缩、重建生成平衡和编码器解码器协同适应的分层语言生成框架。它通过动态 span segmentation、masked diffusion decoding 和 Flow Matching priors 学习紧凑的预测性潜表示,并在推理时按固定 span 布局重新编码生成文本。
推荐理由:论文报告多任务实验中的扩展趋势,并比较未收敛检查点的任务表现与预训练预算差异,为分层语言生成提供可核对的实验参照。
研究者提出 OmniDR-Bench 和技能工作流,用于评测智能体围绕视频综合外部证据并生成关联视频时刻的交互式报告。该基准包含 19 个现实子类别、50 个中英文任务和 6,414 条标准,并以 Omni-ARTs 评估 18 种智能体配置;最佳系统得分 63.3/100。
推荐理由:该基准将视频定位、外部多模态证据检索与交互式报告纳入统一评测,并呈现智能体在覆盖范围和跨模态分析上的能力差距。
研究者提出 TTR-Compressor,作为标准池化与投影式序列压缩的实用替代方案。它在高效 LLM 的块级稀疏注意力压缩和 MLLM 的 VL projector(merger)中均展现出强劲的实证增益。潜在应用包括视频/音频时间压缩、从头训练原生高效 ViT,以及通过按深度压缩改善深度扩展。
Verus-Insight 通过检查规划、证据验证和证据聚合训练 AI 生成视频伪影检测器,并采用人工锚定的全流程监督与渐进能力训练。论文还提出带有人工标注可感知伪影的 Verus-Bench;多基准实验显示,该方法在细粒度伪影分析和视频级检测中表现较强,并能更可靠地将检查目标转化为有支持的证据,同时未增加虚假伪影断言。论文地址为 https://arxiv.org/abs/2610.30866。
推荐理由:论文把 AI 生成视频伪影检测拆为检查规划、证据验证和证据聚合,同时提供细粒度人工标注基准,便于比较检测器的证据识别能力。
论文提出因子感知预测学习 FAPL,通过分阶段训练让视频 DiT 更有效地利用 MLLM 潜变量,支持稀疏时间推理与因子感知的电影化控制。训练先以冻结的 MLLM 和连接器强化 DiT 的潜变量利用,再通过 factor-span replacement 学习目标因子改变与非目标保持,最后冻结 DiT 并优化 MLLM 和连接器,兼顾有限输入表示学习与完整观察重建。
推荐理由:论文将 MLLM 潜变量利用、稀疏推理和因子控制放进同一分阶段训练框架,便于理解多模态表征如何用于电影化视频生成。
研究提出 On-Policy Self-Training(OPST),让大语言模型仅凭粗粒度主题描述生成问题、答案和特权推理示范,在不依赖人工编写问答的情况下实现自我改进。伪验证过滤器只保留模型能在新上下文和改写问题中复现答案的题目。实验覆盖域内自我改进、域外知识保持和 Visual OPST 多模态迁移,结果显示其提升语言与多模态推理,并优于其他训练策略。
推荐理由:论文把自蒸馏改写为自训练框架,并用可复现性过滤自生成题目,为无人工问答的模型自我改进提供了具体路径。
这项研究考察多模态大语言模型的检索头是否会随输入模态增加而扩展,并用音频与画面呈现相同答案的配对输入进行验证。在18个语言、视觉语言和全模态检查点上,全模态模型基本保留骨干模型的检索头,消融这些头几乎消除全部音视频检索。
推荐理由:论文把跨模态共享的检索头转化为优化目标,并报告该方法在三个模型家族上改善文档检索,为改进多模态检索提供了一种方法。
WorldCast 结合 3D 点云引导与 GAMA,在大角度相机运动下准确跟随轨迹并生成几何、外观和身份一致的角色视频。GAMA 根据初始帧与多视角角色锚点估计的相对相机位姿,检索并注入视角相关角色特征。论文还发布 CLACT 大规模角色中心数据集与基准,提供准确相机几何、多视角角色观测及大角度轨迹,用于训练和评估。
推荐理由:论文同时提供大规模数据集、基准和生成框架,覆盖大角度轨迹、几何一致性与身份保持,便于开展系统评估。
RynnUnify 是一种 16B 统一具身模型,通过视频—语言交错推理整合视觉规划、物理推理与机器人控制,并形成智能体扩展与世界—动作扩展。实验显示,其具身理解平均分在所评估的统一多模态模型中最高,Rynn-VP 总体分较 Cosmos 3 Nano 高 9.75 分,智能体扩展使 Rynn-GEU 平均分较直接推理高 6.0 分。
推荐理由:RynnUnify 将具身理解、长程视觉规划与机器人控制纳入同一16B模型,并以基准和真实机器人任务检验各扩展模块。
这项研究将柏拉图表征假说扩展到机器人领域,并提出Sensorimotor Alignment(S²),以感觉表征邻域与末端执行器轨迹邻域的重叠度衡量对齐程度。仿真中的Vision-Language-Action模型(VLA)、World Action Models(WAMs)及真实机器人策略均显示,S²越高,任务成功率通常越高。
推荐理由:研究以感觉表征与运动轨迹的邻域重叠构建S²指标,为闭环评测前识别更可能取得高任务成功率的模型提供低成本离线依据。
Falcon 是一种因果音视频目标说话人提取模型,利用目标说话人的嘴部视频从噪声和重叠语音中提取其声音。模型采用单次多尺度时频分离器与编码空间说话人对比损失,相较 causal AV-TFGridNet,可训练参数减少 91.9%,计算量降低 20.2×,GPU 推理延迟降低 11.1×。
推荐理由:论文提供真实场景基准,并报告相对 causal AV-TFGridNet 的参数、算力与延迟对比,便于评估效率取舍。
DiscoDemo 用强化学习生成多样化且成功的机器人操作轨迹,并导出为静态数据集,用于训练更稳健的视觉运动模仿策略。其潜在条件 RL 生成器结合并行反向课程和成功门控多样性目标;在 4 项操作任务中,下游策略平均成功率在仿真中从最强基线的 40% 提升至 62%,在真实机器人上从 39% 提升至 78%。
推荐理由:论文将强化学习用作机器人示范数据生成器,并在仿真与真实机器人上对比轨迹多样性对下游模仿策略的影响。
World-in-Context 提出上下文条件化(ICC)框架,用共享自注意力中的显式 token 统一视角、动作和相机控制。World-in-Context-5B 在 WBench 上取得 81.5 的导航表现,接近 22B EchoWM 的 81.6;视角切换成功率达 93.8%,高于现有 5B 基线的 18.8%。
推荐理由:论文用显式 token 统一视角、动作与相机控制,并在 WBench 对比 5B 与 22B 方案的导航和视角切换表现。
Principia 是一个基于大语言模型的框架,可在测试时从相关输入及其观测结果构建因果假设,并持续合成和修订科学原理。它将归纳出的原理用于任务以获得新观测,再依据新观测修订假设并重建原理,形成持续迭代的发现流程。
推荐理由:Principia 在四类科学任务上与依赖内部知识、外部来源和经验总结的基线进行了比较,展示测试时构建科学原理的效果。