RSI-Nav:基于策略同步语言-动作双重自举的导航数据递归自改进框架
RSI-Nav 是一个面向视觉语言导航的数据为中心递归自改进框架,通过策略同步的语言-动作双重自举,将指令跟随与指令生成统一在同一模型中。该方法按小分片迭代生成指令、自评估并即时更新自身,在 R2R-CE 上达到 68.6% SR,在 RxR-CE 上达到 72.4% SR。9B 参数模型 SongzeLi/RSI-Nav_model 与 1.05M 数据集已在 GitHub 开源。
RSI-Nav 是一个面向视觉语言导航的数据为中心递归自改进框架,通过策略同步的语言-动作双重自举,将指令跟随与指令生成统一在同一模型中。该方法按小分片迭代生成指令、自评估并即时更新自身,在 R2R-CE 上达到 68.6% SR,在 RxR-CE 上达到 72.4% SR。9B 参数模型 SongzeLi/RSI-Nav_model 与 1.05M 数据集已在 GitHub 开源。
Vela 把 10 万用户的匿名行为记录转换为约 7.5 万条训练任务,用于微调大语言模型。在千问 Qwen3.6-35B-A3B 上微调后,用户相关任务最高提升 11.5 分,通用基准平均提升约 4 分;先微调再做强化学习,比直接从基模型做强化学习最高再提升 7.7 分。
推荐理由:原文给出从用户行为到训练数据的具体流程与提升数字,可作为构建用户感知能力的参考。
MiMo-V2.6 是一个面向自我提升的全模态模型系列,沿三条维度扩展强化学习算力:在最长 1M 上下文下,每步处理 1,568 样本、2.7-3.7B token 的异步训练;覆盖代码、通用、视觉和赛博领域的智能体环境;以及通过分组智能体评分提供更长链任务奖励信号。为稳定训练,论文还冻结 MoE 路由器并建立多层防奖励作弊机制,并开源训练动态、RL 环境和 RL 框架。
推荐理由:报告给出了训练算力、采样与环境三维度扩展的具体数字与稳定策略,并开源训练动态与框架,可作为大规模 RL 训练的参考路径。
TerminalHorizon 是一个面向长程终端智能体的全自动数据合成引擎,通过独立执行识别真实职业任务中被省略的关键工作,并以证据引导环境重构、围绕同一目标逐步扩展任务序列。
推荐理由:原论文给出从数据合成到微调训练的完整方法与多基准结果,读者可直接对照自己的智能体训练管线和数据构造思路。
论文提出 Multi-Stream Attention Residuals(MSAR),将 Attention Residuals 沿深度轴的单流 softmax 注意力推广为多流多尺度结构,通过多尺度因果卷积为不同注意力头提供不同上下文视图,再经轻量自适应混合生成层输入,无需持久多流存储或通信。
推荐理由:原文给出 MSAR 在 18B 与 28B MoE 规模下相对 AttnRes、mHC 的加速对比,可作为残差结构选型的参照。
Road MOPD 通过引入非路由教师作为跨域评论者,解决多教师在线策略蒸馏中共享参数上多教师梯度冲突的问题,采用 token 级信用分配与多教师梯度投影协调监督信号。在高冲突场景下性能增益超过 5 个百分点,并在低冲突与三域设置中提升整体表现。
一篇论文研究 On-Policy 蒸馏(OPD)中相对策略差异的迁移条件,提出以代理 expert 与参考策略之间的对数概率比作为 KL 正则策略优化的隐式奖励,可实现跨规模、跨训练阶段、跨生成方式的任意对任意迁移。
推荐理由:论文给出了哪些相对策略差异能有效迁移到目标策略的判定条件,对做 On-Policy 蒸馏的读者具有直接参考价值。
论文提出 SynthSelf 方法,利用同族稍大的对齐模型为小模型生成 in-distribution 监督信号,配合 off-policy 监督与拒绝采样,缓解持续后训练中能力获取与遗忘的矛盾。在 4 个获取数据集、14 个保留基准与 3 个小模型规模上均优于 6 种基线方法。
推荐理由:针对小模型持续后训练的能力获取与遗忘权衡,给出可由同族稍大模型蒸馏出的 in-distribution 监督方案,并把方法在多基准、多模型规模上做了对照。
ClawLoop 提出一种让大语言模型智能体在沙箱工作空间中自改进的训练框架,不依赖外部教师模型。该框架由任务合成、SFT/RL 训练和诊断反馈三阶段组成循环。
推荐理由:提出不依赖外部教师的智能体自改进训练框架,在多个评测基准上取得稳定提升,并验证了合成任务可迁移到更小模型。
针对 Qwen3 系列模型(1.7B–8B)以 NO-THINK 模式训练并施加强化学习的研究发现,RL 带来的精度提升主要来自思考泄漏,NO-THINK 模型逐渐表现出原本 THINK 模式的行为。
推荐理由:论文通过权重、激活和注意力头干预给出因果证据,提示读者重新评估强化学习对推理能力的实际增益来源。
本文提出 Work2Skill 框架,通过 WorkRecorder 采集人类屏幕录制与键鼠操作,并基于 350 条多模态示范构建 WorkDemo-350 数据集,用于抽取可复用智能体技能。
推荐理由:论文给出了框架、数据集和开源代码,并在 MyPCBench 与 OSWorld-Verified 上汇报了具体分数提升,读者可以据此复现并对比现有 GUI 智能体技能提取方法。
何恺明团队提出纯视觉ARC方案NAT-ARC,先在ImageNet上做MAE自监督预训练,再迁移到抽象格子推理。表现最好的单模型参数量0.6B,在ARC-1上跑到63.4% pass@2,三模型集成达到70.2%,逼近8B语言模型系统The ARChitects的71.6%。
推荐理由:用ImageNet MAE预训练替代随机初始化,让0.6B视觉模型在ARC-1上逼近8B语言模型系统的水平。
研究提出 Semi-OPD 方法,用学生模型初始版本的离线 rollout 蒸馏教师能力,在 17 组 1.5B–235B 参数规模的师生配对中 14 组优于传统 On-Policy Distillation,精度最高提升 13.6 个百分点,训练加速 11.4 倍。
推荐理由:论文用 17 组师生配对量化对比 OPD 与 Semi-蒸馏,给出按初始 token 重叠率选择蒸馏策略的依据,可直接用于重新评估既有蒸馏方案。
论文提出面向大语言模型的通用文本化教学(UTT)框架,无需更新学生模型参数,通过 Student、Prompter、Teacher、Synthesizer 多角色配对评估与迭代合成,把师生差距蒸馏成可解释、可跨模型复用的自然语言文本 Primer。
推荐理由:提出无参数更新的知识蒸馏框架 UTT,把师生差距压缩成可跨学生模型复用的自然语言教学文本 Primer,为知识蒸馏提供新的可迁移载体。
Nemotron-3-Ultra-CC 在 IOI 2026 拿到 535.4/600 分(来自与人类选手同条件的非官方测试),超过 361.12 的金牌线;IMO 2026 的 generate-verify-refine 系统由官方阅卷人评分,取得 30/42 分,超过 29 的金牌阈值。
推荐理由:展示了 Nemotron 通过微调与推理协同在 IOI 与 IMO 同时达到金牌水平,并公开了完整数据集与训练配方。
该综述梳理了面向大语言模型的参数内记忆增强方法,将可复用参数对象接入推理前向计算以承载后预训练知识。文中按参数位置(Embedding、Attention、FFN 或混合)与获取时机(在线、离线)两个正交维度分类,并讨论了干扰、安全性以及递归自我改进等开放方向。
MIMESIS 论文提出一个面向交互式智能体训练的用户模拟器,其 9B 模型在 SOUL-Index 上达到 65.7,超过当时最强的前沿模型。相比 Claude-Opus-5,行为保真度提升 13.4 分,图灵距离降低 3.6 分。
推荐理由:原文给出面向交互式智能体训练的用户模拟器构建方法与自蒸馏反馈方案,可作为搭建训练环境和密集反馈机制的参考。
SALD 提出了一种无需外部教师网络的扩散模型自参考训练框架,在不改动推理流程的前提下提升了生成质量。
推荐理由:原文给出不依赖外部教师网络的扩散模型自参考训练思路,可为改进现有扩散模型训练流程提供可迁移的方法参考。
TouchScale 是一个 500 小时的人体视觉-触觉数据集,采用单一可穿戴设备采集约 2K 个任务,同步记录自我中心 RGB-D 视频、腕部 RGB 视频和双手密集触觉信号。
推荐理由:用统一采集的 500 小时视觉-触觉数据验证了规模化效果,并把接触预测和机器人操作两组数字同时给出。
miniTE 开源框架通过数值与系统优化,弥合原生 NVFP4(W4A4)强化学习中的训练与推理执行差距。相同权重和精度并不保证相同策略,不同引擎的数值执行差异可能造成训练与推理不匹配并使 RL 失稳;严格对齐设置可将 log-probability 差距降至约 1e-8。
推荐理由:miniTE 从数值和系统两侧拆解原生 NVFP4 强化学习的训练与推理差异,并公开诊断工具、算子和训练配方,为低比特 RL 复现提供可操作材料。
针对用户偏好异构且反馈数据稀缺导致 LLM 个性化对齐困难的问题,论文提出近似帕累托最优(APO)方法:先将更新兼容的用户分组,组内结合梯度下降与受控上升协调竞争目标,得到接近用户最优的初始化,再用少量本地适配迭代优化。在 Fed-ChatbotPA 和 UltraFeedback 上的实验表明,仅用 20 个本地样本即可稳定优于现有方法。
研究者将 TabPFN 特征用于表格异常检测,提出不微调的 ZEN 方法和微调的 FOCUS 方法,二者在 ADBench 基准上分别取得高于所有基线及进一步提升的平均 AUROC。该方案在不同 PFN 模型间具有良好泛化性。
该研究指出,在基础模型回复开头固定特定 token 线索,可使其在数学和编程推理任务上达到与 RL 训练版本相当的水平。回复前的 '. Okay' 线索将 Olmo-3-7B 的 MATH-500 pass@1 从 42% 提升至 78%,'Alright,' 线索将 Qwen3-14B 从 72% 提升至 87%。
推荐理由:论文把基础模型的推理能力回溯到训练数据中的特定 token 线索,给出了一种不靠 RL 也能恢复推理表现的替代解释。
Naver AI 提出 NP-OPD 方法,在 on-policy 蒸馏(OPD)的 rollout 阶段额外引入一个能力较弱的负向策略作为负参考,与教师监督互补,为学生模型提供显式负向信号,同时保留原有的教师监督。
推荐理由:原文给出在 On-Policy 蒸馏中引入负向策略 rollouts 的具体做法和跨规模实验结果,为改进学生模型蒸馏训练提供了可迁移的负向信号方案。
RGPO 框架将真实 Rationale 作为临时支架,自适应辅助大语言模型强化学习训练,以缓解奖励稀疏问题。该方法在纯文本与视觉-语言推理任务中均优于 RLVR 基线,且不要求离线数据与 RL 任务格式匹配,为推理模型训练提供了一种通用方案。
TRIAGE 是一种面向原生 NVFP4 强化学习的方向感知稳定化方法,通过段级诊断选择性再平衡策略梯度更新,并对残余严重失配进行有界修复。该方法在采样器与学习器上均保留原生 NVFP4 W4A4 前向执行,在 Qwen3-4B 和 Qwen3-30B-A3B 上的五个数学推理基准中达到全精度水平性能,rollout 吞吐量较 BF16 最高提升 2.3 倍。
论文提出 Belief-Trajectory Energy(BTE),通过量化大语言模型逐层预测修订来刻画输入对模型内部信念的影响,并以 Fisher-Rao 几何给出理论解释。
推荐理由:原文给出了一个可在不同任务间迁移的层间轨迹度量框架,读者可以据此判断它在模型可解释性或数据筛选中的可用场景。
DiffGate 提出一种面向 on-policy 蒸馏的训练目标,把 GRPO 与按群体难度筛选的教师监督结合,仅对失败轨迹施加教师引导并做边界裁剪,避免极端师生差异主导优化。
推荐理由:原文给出 DiffGate 目标的具体设计与量化收益,读者可据此判断在小模型后训练中引入难度门控教师引导的迁移价值。
这篇综述从数值线性代数(NLA)视角梳理机器学习尤其是大语言模型(LLM)的核心技术。文章向NLA研究者阐明LLM核心概念,同时回顾LLM技术中的关键NLA方法及NLA近期对LLM领域的重要贡献。
AWS 团队在 Amazon SageMaker AI 上用多轮强化学习微调 Qwen3.6-27B 搜索 Agent,以 nDCG@10 作为轨迹级奖励。微调后 BrowseComp-Plus 的 nDCG@10 提升 23.7%、失败率从 22.89% 降至 0.68%,WixQA 与 Wands 也分别提升 18.4% 与 6%。
推荐理由:给出在 Amazon SageMaker AI 上用多轮强化学习微调搜索 Agent 的方法、配置与结果,可作为多轮 Agent 训练的参考。
ServiceNow CoreAI 在 Hugging Face Blog 发布 AutoSynthData 框架,通过分析目标模型在企业环境中的失败用例、由更强教师示范成功轨迹,自动生成带验证器的合成训练任务,按 Target 与 Multiply 两阶段扩增样本。
推荐理由:以目标模型的失败用例驱动合成训练数据生成,并把任务难度逼近能力边界,为企业智能体后训练提供了一种可迁移思路。
MetaRubric 提出
Allenai 发布开源训练框架 Olmo-core 3,将 MoE 训练基础设施扩展到万亿参数规模。
推荐理由:Olmo-core 3 把万亿参数 MoE 的训练栈完整开源,并附带各项优化在 B300 上的实测对比,为后续训练基础设施的复现与改写提供了具体基准。
Ai2 发布开源训练基础设施 Olmo-core 3,面向大模型 MoE 架构设计,可扩展到万亿参数规模。系统从 FSDP 切到 DDP,保留专家权重驻留在 GPU 上;在 8 张 NVIDIA B300 GPU 上,47B 参数 MoE 吞吐约 52,000 tokens/s/GPU,较旧实现约 2.7 倍。
推荐理由:完整公开了面向万亿参数 MoE 的训练栈设计、关键优化和吞吐量基准数据,对自建大模型训练系统的团队有参考价值。
研究者提出 Architect-Ant 框架与 AntPlan 数据集(505 张专业平面图、92 类家具、10 种房间),对真实建筑平面图自动生成可编辑家具布局,无需预设推理轨迹。其功能完整性与布局规则得分在对比基线中最高,几何违规更低,生成速度显著快于迭代式 agentic 方法,输出可直接转为 3D 场景。
NVIDIA 发布开源表格预测基础模型 Kumo Tabular,无需训练或特征工程即可在单次前向中对分类与回归任务预测新行标签。模型分 28M 到 215M 三种参数量,在 TabArena、BeyondArena、TALENT 和 ScoringBench 四个公开榜单上均排名第一。
推荐理由:原文给出无需训练、单次前向即可预测的表格预测基础模型,在四个公开榜单上均居首位,可作为评估其相对现有表格方法的精度与效率参考。
MemFold 提出固定预算软记忆方案,将查询条件化的文本记忆压缩为 K 个连续向量作为 reader 的记忆接口,并通过组相对奖励与置信度门控的在线策略蒸馏在 reader 自身 rollouts 上训练;冻结的文本记忆教师仅对采样 token 重打分,不做自回归解码,推理时完全移除。
Hugging Face Hub 上线 RL Environments 专区,新增 rl-environment 数据集筛选器和 harbor、verifiers、openenv、nemo-gym 四个框架标签。
推荐理由:原文说明了把任务数据放回 Hub、由框架负责运行时的分工思路,并给出多框架的实际运行命令。
NVIDIA 与 Google DeepMind、EMBL-EBI 等机构在 AlphaFold Database 公开 2800 余种病毒的蛋白复合物 3D 结构预测数据,并开源了 BioNeMo Structure Prediction Pipeline。
推荐理由:展示了 AlphaFold2 与 BioNeMo 推理栈在病毒蛋白复合物预测上的规模化能力,并标注具体数据集规模与新增蛋白相互作用比例。
Hex 的数据智能体利用 GPT-6 Astra 将查询结果转化为员工乐于分享的交互式可视化报告,把复杂数据分析以直观的视觉形式呈现。