RGPO:基于自适应 Rationale 支架的强化学习推理优化框架
RGPO 框架将真实 Rationale 作为临时支架,自适应辅助大语言模型强化学习训练,以缓解奖励稀疏问题。该方法在纯文本与视觉-语言推理任务中均优于 RLVR 基线,且不要求离线数据与 RL 任务格式匹配,为推理模型训练提供了一种通用方案。
RGPO 框架将真实 Rationale 作为临时支架,自适应辅助大语言模型强化学习训练,以缓解奖励稀疏问题。该方法在纯文本与视觉-语言推理任务中均优于 RLVR 基线,且不要求离线数据与 RL 任务格式匹配,为推理模型训练提供了一种通用方案。
TRIAGE 是一种面向原生 NVFP4 强化学习的方向感知稳定化方法,通过段级诊断选择性再平衡策略梯度更新,并对残余严重失配进行有界修复。该方法在采样器与学习器上均保留原生 NVFP4 W4A4 前向执行,在 Qwen3-4B 和 Qwen3-30B-A3B 上的五个数学推理基准中达到全精度水平性能,rollout 吞吐量较 BF16 最高提升 2.3 倍。
Microsoft 与 Hugging Face 联合发布 ThinkingBox 基准,通过 OpenEnv 接口开放,覆盖 507 个有状态业务工作流,每个任务重复运行 20 次,按终端数据库状态和副作用评分。
推荐理由:原文用 507 个任务和 20 次重复,量化了一次成功与每次都成的差距,可用于挑选真正可用的 Agent 模型。
该研究通过策略识别、Markov 规则遵循与高阶序列依赖的受控实验,揭示了大语言模型在识别策略与忠实模拟之间存在显著差距:更长上下文未必带来帮助,且匹配的动作分布可能掩盖根本错误的生成机制。这些发现对将大语言模型作为行为模拟器和交互式智能体的评估方式提出了挑战。论文见 https://arxiv.org/abs/2610.04977
推荐理由:原文用受控实验区分识别策略与忠实模拟,指出更长上下文未必有效,并提示现有评测可能高估大语言模型的序列行为能力。
一项 Agentic RAG 评估预算分配研究在 HotpotQA 与 MuSiQue 上表明,扩大问题覆盖比增加读取次数或搜索轨迹更有效。在 34.14–34.39M tokens 预算下,问题覆盖更广可使标准误比五次读取低 33%、比三条轨迹低 12.6%。当搜索价格为 0–1 美元/千次请求时增加问题数优于增加轨迹;温度设为 0 可将回答分歧率从 14.3% 降至 3.4%。
论文提出 Belief-Trajectory Energy(BTE),通过量化大语言模型逐层预测修订来刻画输入对模型内部信念的影响,并以 Fisher-Rao 几何给出理论解释。
推荐理由:原文给出了一个可在不同任务间迁移的层间轨迹度量框架,读者可以据此判断它在模型可解释性或数据筛选中的可用场景。
MetaKernelBench 是一个面向 GPU kernel 优化智能体的评测基准,包含 74 道题(分属 6 类 fused subgraph,每题配 CuTe DSL 和 TIRx 两个变体),衡量智能体从一个 DSL 提炼的经验能否迁移到同一问题的另一 DSL。
推荐理由:它把 kernel 优化智能体的能力评估从代码本身扩展到经验能否跨 DSL 复用,并给出 6 个模型的具体迁移幅度。
DiffGate 提出一种面向 on-policy 蒸馏的训练目标,把 GRPO 与按群体难度筛选的教师监督结合,仅对失败轨迹施加教师引导并做边界裁剪,避免极端师生差异主导优化。
推荐理由:原文给出 DiffGate 目标的具体设计与量化收益,读者可据此判断在小模型后训练中引入难度门控教师引导的迁移价值。
ConEx 提出一种结合显著性可视化与概念推理的视觉解释框架,通过架构特定的掩码机制无监督学习类别专属的概念激活向量(CAVs),自动发现概念并生成忠实于模型的显著性图。论文同时提出 VCM 与 CCM 两个互补指标,用于量化概念对齐并与现有方法直接比较。实验显示 ConEx 在忠实度、分割和概念质量基准上达到 SOTA。
DistScene 提出一个面向单图像组合式 3D 场景生成的框架,将环境与物体作为独立组件在同一坐标系中联合建模,并通过对象到场景知识蒸馏将预训练物体生成先验迁移到场景生成。其 Scene-Frame Generation 与 Object-Centric Refinement 两个步骤共同学习几何与相对位置关系,在室内与室外基准上相比基线展现出更好的场景级空间连贯性。
该工作提出 R-Quest,通过问题有效性判断和基于冻结基模型的成对新颖性反馈来指导自进化训练,在数学推理、通用推理与代码生成的 12 个基准上取得最高平均分,覆盖两种模型家族;该方法在 10 轮自进化中保持稳定提升,最终一轮比 R-Zero 高 17.32 分。
推荐理由:论文拆解了自进化推理模型训练崩塌的两个机制原因,并给出可迁移的问题过滤与新颖性反馈方案,对自训练稳定性设计有参考价值。
论文提出 NAMVIS,一个无扩散的多视图图像合成框架,将多视图生成重新表述为几何条件下的下一尺度自回归任务:通过少量由粗到细的尺度步骤预测离散视觉 token,并在每个尺度内对所有目标视图的 token 并行采样。
推荐理由:在扩散方法主导的多视图合成领域,给出一种以几何条件下一尺度自回归替代迭代去噪的路径,并提供与扩散基线在精度和速度上的直接对比。
这篇综述从数值线性代数(NLA)视角梳理机器学习尤其是大语言模型(LLM)的核心技术。文章向NLA研究者阐明LLM核心概念,同时回顾LLM技术中的关键NLA方法及NLA近期对LLM领域的重要贡献。
PerturBot 提出一种针对 VLA 模型的扰动训练框架,通过手腕视角扰动、决策相关指令扩写与失败轨迹重标注三种手段,打破策略对模态捷径的依赖。方法不改变推理流程,并配套提出离线诊断指标 GroundingFscore,用于衡量策略对任务证据而非捷径先验的依赖程度。
传统上被称为"死区"的缺氧海底区域,可能并非生命荒漠,而是蕴藏着地球早期生命演化线索的研究对象。</think>
ServiceNow CoreAI 在 Hugging Face Blog 发布 AutoSynthData 框架,通过分析目标模型在企业环境中的失败用例、由更强教师示范成功轨迹,自动生成带验证器的合成训练任务,按 Target 与 Multiply 两阶段扩增样本。
推荐理由:以目标模型的失败用例驱动合成训练数据生成,并把任务难度逼近能力边界,为企业智能体后训练提供了一种可迁移思路。
DuoMatching 提出面向少步视频生成的分布匹配框架,通过统一的联合-边缘公式近似真实视频分布,并由图像生成器提供帧级监督。框架引入 LatentBridge 解决视频学生模型与图像教师模型的潜空间表征差异,并借助 Latent Variation Sampling 将帧级监督分布到不同时间片段。实验显示其在视觉质量、构图与语义对齐上均有提升,人类偏好率在所有对比基线上超过 80%。
SEER 是一个面向时间序列预测的闭环框架,将预测误差解耦为反射式检索记忆与持续因果知识库两类反馈机制,分别用于过滤噪声、修正后续检索查询,以及提炼可迁移的领域动态。框架在事件检索与反思过程中强制严格的时间顺序约束,以防止前视偏差和数据泄露。在六个波动性时间序列 benchmark 上,SEER 持续超越现有 SOTA 时序基础模型和大语言模型基线。
Harness-Aware Distillation(HAD)在 on-policy 蒸馏基础上新增动作偏好对比与有效性校验两个组件,专注于学习教师模型在 harness 之外提供的增量能力,无需任务奖励、成功标签或未来信息。该方法在多个长程智能体基准测试中优于同条件下的蒸馏基线,更少陷入无效循环且错误恢复更频繁。
一项 6G Open RAN 意图解读对比研究显示,Jev-1.13.0 决策模型在 99.8% 调用中满足 1 秒近实时预算,两款托管大语言模型分别仅 17.9% 和 0%。大语言模型中位解读耗时 0.286 至 2.35 秒,远超 A1/E2 传输的 25 毫秒以下;在 RANIntent v1 基准上没有任何托管大语言模型在基点带来相对 Jev-1.13.0 的可分辨 SLA 改善。
MetaRubric 提出
Collective Bias Mitigation (CBM) 框架通过模型路由与多模型协作缓解大语言模型偏见,弥补单一模型自去偏的不足。在 top-7 设置下,Committee 拓扑将年龄偏见分数从 0.25 降至 0.10,显著优于独立基线。框架包含 Debating 和 Committee 两种拓扑,后者兼顾偏见缓解效果与推理成本。
Graphite 研究发现,AI 写作中仍有 13000 多个短语出现频率是人工写作的两倍以上。Claude Opus 5.5 最显著的痕迹是 'this matters'。
推荐理由:Graphite 给出了 Claude Opus 5.5、Astra 等模型的量化写作特征,并解释了为何提示词习惯难以彻底消除。
以色列魏茨曼科学研究所 Michal Irani 团队开发出一种 AI 工具,仅凭高分辨率 fMRI 脑扫描就能重建被试者看到的图像,并在对比中显著优于已有方案。
推荐理由:原文把这项脑扫描重建图像方法与此前需约 40 小时校准的方案做了对比,并讨论迁移到 EEG 后放大的隐私风险。读者可以据此判断当前脑解码技术的实际进展。
Argo-Bench 是一个新发布的预印本基准,专注于评估 LLM 数据智能体在企业级工作流中的日常决策能力。作者指出,现有 text-to-SQL 基准(如 Andon Labs 的 Vending-Bench 2)多止步于微观决策,而 Argo-Bench 旨在测试大语言模型在预测、欺诈预防等多业务领域的大型企业级表现。项目页已上线演示。
InterEvolve 提出测试时奖励程序进化方法,让已训练的人形机器人控制器无需重训即可完成新运动操作任务。它由物体感知 forward-backward 行为基础模型把新奖励映射为 loco-manipulation 行为,并由 LLM 智能体依据执行反馈改写奖励程序结构、数值优化器调节常数。
EditHero 是首个面向长时程部件级 3D 编辑的基准,提供自然语言指令与几何/纹理目标图像,编辑序列经人工审核。研究对比自上而下从学习到的 3D 表示重新生成对象的非智能体方法,以及通过代码自下而上修改网格的 LLM/VLM 智能体。非智能体方法常遗漏目标改动并扰动其他区域,多数 LLMs 遵循指令更准确且更好保留未编辑部分,但每次编辑耗时数分钟。
SimuVerity 是面向工程级 Simulink 模型生成的智能体评测基准,包含 10 个工程领域的 101 个任务。该基准采用分层评估器,从交付物、可执行性、工程合格性及 6 个维度对生成模型打分。在 6 个智能体系统的评测中,最佳系统总分仅 42.86,部分高分模型仍存在严重视觉布局混乱。
研究提出选择式结构化推理(SSR)框架,将多模态搜索智能体的推理从开放式生成改为从预定义自然语言候选中选取,以降低小模型开销。在 2B 和 4B 模型、七个多模态搜索基准上,SSR 结合监督微调与多种强化学习目标,在任务成功率与同规模领先搜索智能体相当的同时,将单轮推理延迟降低超过 90%,整体每题模型推理延迟降低 28-54%。
LOCI 是一种面向视频世界模型的混合空间记忆架构,将 KV cache 与循环线性注意力记忆结合。记忆读写由投影相机几何条件驱动,在 MIND 基准和留出轨迹上比同类世界模型与 full softmax 更忠实地复现重访内容;满历史场景下峰值内存降低约 30%,有界记忆库下可恒定内存流式处理长视频。
Anthropic Frontier Red Team 在内部 Binary Exploitation 基准上对 GLM-5.3 与 Claude Mythos Preview 各跑 100 项任务,分别在 4% 与 6% 的试次中实现完整控制流劫持,跨过了此前的零成功率门槛;同批评估的 Claude Opus 4.6 与 GLM-5.2 在所有任务上均未成功。
推荐理由:在内部漏洞利用基准上,GLM-5.3 与 Claude Mythos Preview 都跨过了此前模型无法取得成功的门槛,给出了具体的数字对照。
研究者提出 Architect-Ant 框架与 AntPlan 数据集(505 张专业平面图、92 类家具、10 种房间),对真实建筑平面图自动生成可编辑家具布局,无需预设推理轨迹。其功能完整性与布局规则得分在对比基线中最高,几何违规更低,生成速度显著快于迭代式 agentic 方法,输出可直接转为 3D 场景。
研究人员提出 HIDE 基准与 SEEK 框架,分别用于评估和增强部分可观测机器人操作中的任务级记忆能力。HIDE 包含 15 个任务,涵盖重复计数、历史状态回忆与执行进度追踪,SEEK 融合三种互补记忆机制。实验显示现有策略在 HIDE 上存在显著局限,记忆增强在仿真与真实环境中均提升任务成功率,三机制组合在所评测配置中取得最高平均成功率。
JevSpawn 是一种组合策略,将自然语言任务规范映射到有限概率探索空间,通过并行动作生成、反馈驱动的分支选择、表示修订和替代路径恢复,无需额外训练即可减少重复生成与上下文计算。在 8 个基准任务上对 7 个智能体基线及 TypeSafe Jev 变体的评估显示,JevSpawn 在任务性能和导航速度上均优于对比方法。
DEFINE 是端到端零样本 TTS 框架,通过分别用参考音频控制说话人身份和目标口音实现解耦。该框架基于 F5-TTS 与参数高效 LoRA 适配,无需推理时口音标签或合成后波形转换,单个推理时引导权重即可连续调节口音强度而无需重新训练。
Diptych 是一个用于音乐制作参考听音的 AI 辅助对比系统,允许用户在整曲或独立片段上自定义对比范围,并查看结构化音频特征与范围对应的 AI 解读。在 12 名音乐人的被试内实验与 4 位专家盲评中,借助该系统发现的 10 项差异中有 9 项获得至少部分专家支持,且参与者反馈系统易用性好、对下一步行动更清晰。
研究提出 STAIR(Stale-Token Attention for Inter-query Reuse)方法,通过复用先前回答中的 key-value 帮助 LLM 提升后续问题准确率。该方法保持基础模型冻结,仅训练 12,288 个参数;在三个 Qwen 模型和四个 benchmark 上,将带历史的后续轮次平均准确率最高提升 11.67 个百分点。
研究者提出并行幂次回火(PPT)采样方法,通过并行运行不同锐化强度的多个副本缓解幂次采样中的探索-利用矛盾。实验表明 PPT 显著优于单链幂次采样与强化学习后训练模型,产生的推理轨迹质量更优,部分任务上性能可媲美前沿模型。
RLE-Bench 是一个面向机器人学习工程的编程智能体评测基准,覆盖交互式控制、策略学习、感知与估计、机械设计四类开发工作流。该基准通过成功率、训练策略、构建 harness 与机械结构等任务专用指标评估智能体产出,并聚合成 RLE Index 以支持多维能力对比。论文还结合案例研究分析了智能体在代表性任务上的当前能力与局限。
MemFold 提出固定预算软记忆方案,将查询条件化的文本记忆压缩为 K 个连续向量作为 reader 的记忆接口,并通过组相对奖励与置信度门控的在线策略蒸馏在 reader 自身 rollouts 上训练;冻结的文本记忆教师仅对采样 token 重打分,不做自回归解码,推理时完全移除。