RuleTrek:复杂场景下智能体规则推理基准
RuleTrek 是面向复杂场景下智能体规则推理的多领域基准,评估大语言模型在规则识别、规则推导和端到端推理三项能力上的表现。其构建流程从材料中提取结构化规则图,并增量组合规则子场景以保证一致性与可解性。
推荐理由:给出了11个前沿大语言模型在规则识别、推导和端到端推理上的具体分数,可用作当前水平的参考。
内容类型
值得读的 AI 论文与研究成果:架构创新、训练方法、能力测量与理论进展。
637 条精选近 30 天 601 条共收录 748 条
RuleTrek 是面向复杂场景下智能体规则推理的多领域基准,评估大语言模型在规则识别、规则推导和端到端推理三项能力上的表现。其构建流程从材料中提取结构化规则图,并增量组合规则子场景以保证一致性与可解性。
推荐理由:给出了11个前沿大语言模型在规则识别、推导和端到端推理上的具体分数,可用作当前水平的参考。
论文提出记忆巩固框架 Cortex,通过生成前瞻性查询把上下文条件输出蒸馏为低秩或结构化 FFN 更新,使大语言模型在不损失非目标能力的前提下把上下文增益内化为参数。
推荐理由:原文给出把上下文增益内化为参数的记忆巩固方法与连续编辑下的保留数据,读者可据此与现有模型编辑或蒸馏方案对比。
Doc2Harness 提出一个两阶段基准,直接评测模型为编码智能体构建长链路 harness 的工程能力,覆盖 19 个前沿模型、328 个测试用例。GPT-6 Astra 取得最高通过率 53.05%,最弱模型为 27.44%;即便最强模型仍有近一半用例失败,失败集中在跨模块功能的拆分方式上。
推荐理由:原文提出了针对 harness 工程的可复现评测方案,并给出 19 个前沿模型的具体差距,可据此对比模型在该层能力上的相对位置。
ActionOPD 提出面向智能体的动作级在线蒸馏方法,通过最大化学生在自身状态下的教师动作似然来对齐决策,不要求师生共享 tokenizer,也无需访问教师 token 概率。用两位教师在工具调用任务上训练 Qwen3-4B 和 Qwen3-8B,在四个分布外基准上平均提升 3.3-6.9 个百分点,并在 τ^2-bench 上与离线蒸馏及 token 级 OPD 表现相当。
推荐理由:用动作级对齐替代 token 级蒸馏,使师生不必共享 tokenizer,并通过 Qwen3 系列验证了方法在不同规模学生模型上的稳定收益。
CriticOPD 提出一种批评引导的 On-Policy 蒸馏方法,让教师用参考答案批评学生错误续写,学生据此重写后续内容,再由教师对重写后的后缀打分而学生不直接看到反馈。该方法在六个数学推理基准上比 OPD 平均准确率提升 4.57 个百分点(Qwen3-1.7B)和 4.06 个百分点(Qwen3-0.6B),竞赛题上增益最大。
推荐理由:原文指出 on-policy 蒸馏中教师跟随学生错误解的机制问题,并给出可复现的批评改写流程与基准提升幅度。
该论文提出一个两轴分析框架来研究多模态智能体的记忆机制:第一轴关注多模态信息的形成与表征,第二轴将记忆管理划分为三级,即 T1 静态记忆、T2 动态记忆和 T3 自演化记忆。基于该框架,作者归纳了若干设计模式,并提出在源保真度与抽象、时间有效性、可恢复证据以及记忆策略演化之间取得平衡的原则,论文最后讨论了多模态智能体记忆机制的未来方向。
推荐理由:论文给出了两轴分析框架与三级记忆管理分类,为评估和设计多模态智能体长期记忆系统提供了可比较的参考坐标。
Player-1 是一个用合成经验训练游戏智能体的后训练框架,在 Player-1-Gym 的 16 个 2D/3D 合成环境上以 PPO 进行强化学习。
推荐理由:原文给出合成环境后训练的具体流程与增益数据,展示了不依赖大规模演示也能提升游戏控制能力的方法路径。
LensErase 是一个 mask-based Erase Anything 基础模型,覆盖物体、视觉文本、水印、多物体移除及不同尺度、宽高比与分辨率的真实擦除场景。
推荐理由:原文同时发布模型、1.01 亿配对样本数据集和评测基准,可作为图像擦除任务的复现起点。
APT 是一个面向文生图模型的自动化后训练框架,由评估、诊断与数据生成三个智能体协作,根据模型当前能力自适应构建训练任务并形成反馈闭环,无需人工整理数据。在多个基础模型、基准和生成架构上的实验显示 APT 与模型、基准和架构均无关,并支持无指定场景的通用评估。
推荐理由:APT 用评估、诊断和数据生成三个智能体串成反馈闭环,为文生图后训练提供不依赖人工数据的全自动方案,适用多种模型与架构。
LatentLoop 提出在循环 MoE 模型中对两次访问做非对称算力分配:压缩第一次访问的序列、保留第二次的全分辨率,并把节省的计算用于增大隐藏维度,同时学习第一次访问对完整序列的更新强度、跨访问共享 MoE 权重并使用独立的注意力参数。
推荐理由:在固定 FLOPs 预算下对比 vanilla MoE 与循环 MoE 基线,给出非对称算力分配带来的实测节省幅度,可作为同规模 MoE 训练的设计参考。
ATAS 框架针对长程智能体视频生成中的跨镜头时空一致性问题,将剧本分解为带位置、镜头和事件时间标注的镜头请求,并在生成前从静态几何场景记忆和按场景/事件/时间索引的事件记忆中检索证据。
推荐理由:原文提出可同时处理跨镜头空间一致性和事件回放的生成框架,并在多个视频生成器基座上验证了一致性提升。
Latent Space 发布与 Leash Bio 创始人 Ian Quigley 的长访谈,围绕 DNA 编码库(DEL)驱动的 AI 制药实践与新发布的 Minos 智能体沙箱展开。
推荐理由:读者可以从中了解 Leash Bio 如何从 DNA 编码库中提取干净可复现的数据,以及其作为科学推理智能体训练场的实际意义。
研究提出重新分配敏感性分数(RSS),用于识别稀疏自编码器中反复出现且方向一致的特征变化。在8个语言模型的27个预训练SAE上,提示词变换形成了可复现的重新分配特征;研究进一步区分表示变化、读出贡献和决策失败,两项冻结安全读出的复现失败AUROC分别为0.935和0.958。
推荐理由:论文将表示变化与下游失败拆开评估,并给出可在27个预训练SAE上复现的RSS方法,便于理解机制诊断与安全读出评估。
ACEdit 提出一种稳定多轮图像编辑的训练方案,让模型在自身前序编辑输出上训练,并利用教师蒸馏提供可靠监督。学生模型连续编辑自己的输出,教师模型则以原始干净图像和复合编辑指令为条件,缓解自生成轨迹偏离真值轨迹的问题。实验显示,该方法能大幅减少长序列编辑中的性能退化,同时保持编辑质量与指令遵循能力。
推荐理由:论文将自生成轨迹、教师蒸馏和非对称条件结合,为缓解多轮图像编辑中的累积分布偏移提供了可迁移的训练思路。
LLM-Attacker 提出面向拆分及分布式大语言模型的统一隐私评估框架,通过记录攻击者配置,支持重建攻击结果的复核、比较与扩展。框架要求防御方案关联未设防基线,并分别报告未测试攻击与实现检查。
推荐理由:框架把攻击者配置、未设防基线和未测试攻击纳入统一报告,便于跨研究比较、复核拆分模型的隐私评估结果。
作者提出 SAE Additivity Residuals (SAR) 指标,用以衡量单个 SAE 特征及低阶交互无法解释的行为变化,并在 18 组模型与行为设定中验证 SAE 学习坐标比匹配随机旋转更具行为可加性。
推荐理由:提出 SAR 指标量化 SAE 特征间高阶交互,并在 steering 实验中验证建模二元交互可提升排位保真度。
OmniXRef 提出一个统一的多模态多参考视频编辑框架,允许用户在源视频上同时叠加可变数量的文本、图像与视频参考,分别控制主体外观、相机运动等不同属性。其模型 OmniXRef-Model 采用单流扩散 Transformer,将源视频与来自 MLLM 的多模态上下文在交错序列中联合处理,并引入 R^2-RoPE 位置编码以增强对更多参考的泛化能力。
推荐理由:原文提出统一框架同时接收文本、图像、视频三类参考来控制视频编辑,并给出专用训练数据和评测基准,对多模态可控视频生成有方法参考价值。
SciΠvot 是一个包含 248 例的科研判断评测基准,基于六个月里 6 个学科 26 个项目中资深研究者纠正 LLM 智能体的真实记录构建。在中推理努力且附带项目记录的条件下,5 个前沿模型中有 4 个表现低于随机,模型普遍偏好 LLM 原始方案而非人类修正方案;项目条件下最高准确率仅 63.5%,低于人类新人的 73.4%。
推荐理由:用 248 例真实科研干预记录对照前沿模型与新人的科研决策准确率,为评估自主科研智能体的判断力提供了可复现基线。
延长推理模型的思考时间,会让多数受测的开放推理模型以及 GPT-5 按逻辑字面理解 some(并非所有)与 or(并非两者),取消相关语用推断。研究固定模型权重,只改变思考时长,并在多个阶段截取推理轨迹,以定位解释变化。轨迹显示模型先考虑扩展解释再将其取消;从早期推理阶段作答这一探索性方法可恢复相关语用推断,且不损失字面准确率,间接回答等语境推断也有所改善。
推荐理由:论文固定模型权重并改变思考时长,再分阶段截取推理轨迹,拆解模型处理日常语用推断的机制,便于理解推理深度与语义解释之间的关系。
ACT3D 通过强化学习训练视觉语言模型从单张第一人称视角主动探索 3D 环境,以最终答案正确性作为奖励信号,无需对探索路径做直接监督。在六个 3D 基准上平均准确率达 53.2%,相对基座 Qwen 模型提升 22.0%、超过 Gemini 3.6 Flash,输入帧数比现有开源 3D 方法少 50-70%,并在未见过的领域平均提升 5.9%。
推荐理由:原文给出基于结果奖励的强化学习方法,让 VLM 学会在 3D 环境中自适应探索,可作为视觉问答主动感知范式的参考。