扩散 Transformer 加速机制研究:残差门重塑与更广泛通道参与
这项研究发现,REPA 等扩散 Transformer 训练加速方法会显著重组 AdaLN-Zero 残差门 α,加速模型对 α 的扰动也更敏感。研究提出归一化参与率 nPR 来刻画门在通道维度上的组织方式,并据此设计无需教师模型、基于特征范数正则化的径向目标。
推荐理由:论文将扩散训练加速与可测量的残差门重组织联系起来,并给出无需教师模型的径向目标,便于对照现有加速方法分析机制差异。
这项研究发现,REPA 等扩散 Transformer 训练加速方法会显著重组 AdaLN-Zero 残差门 α,加速模型对 α 的扰动也更敏感。研究提出归一化参与率 nPR 来刻画门在通道维度上的组织方式,并据此设计无需教师模型、基于特征范数正则化的径向目标。
推荐理由:论文将扩散训练加速与可测量的残差门重组织联系起来,并给出无需教师模型的径向目标,便于对照现有加速方法分析机制差异。
Prox 用 top-k 通道选择替代依赖离线校准数据的阈值筛选,并提出完全由模型权重构建的 reader,以加速 MoE 推理。在 13% 和 18% 读取预算下的 43 组比较中,top-k 版本有 40 组匹配或超过阈值版本,其中 23 项生成任务比较均达到或更优,并避免 Gemma 4 上阈值筛选导致的重复循环崩溃。
推荐理由:论文以 top-k 替代校准阈值,并在 3 个后训练 MoE 模型上对比读取比例、准确率与推理速度。
论文《Attention Is Not What You Need》提出基于Grassmann流的无注意力架构,以Causal Grassmann层将局部token对编码为二维子空间,替代L×L显式自注意力矩阵。
推荐理由:论文以同规模Transformer为对照,报告Wikitext-2困惑度、SNLI准确率及固定秩下的线性扩展特性,为评估无注意力架构提供量化依据。
MatAnyone-E 通过仅在高分辨率下匹配不确定区域并采用轻量解码器,实现估计 7.4 倍的推理加速,同时保持与 MatAnyone 2 相当的抠图质量。它先以低分辨率传播定位不确定区域及相关记忆候选,再只对这些区域进行高分辨率匹配,其他位置复用低分辨率结果。
推荐理由:MatAnyone-E 将高分辨率匹配限制在不确定区域,并用轻量解码器降低开销,给出 7.4 倍推理加速和 4K 峰值 GPU 内存对比。
论文提出多尺度策略优化 MPO,以多尺度优势估计(MAE)和轮次级重要性采样,对齐长程大语言模型智能体训练中的信用分配与策略更新。研究观察到 critic value 主要随轮次变化,因此选择轮次作为优化锚点,并细化 token 间的信用分配。在搜索、工具使用和自动化任务上,MPO 使用 4B 和 30B-A3B 模型时较強 RL 基线取得一致增益。
推荐理由:MPO将轮次尺度信用分配与token级归因结合,并覆盖搜索、工具使用和自动化任务的多模型实验,便于比较长程智能体训练方案。
研究团队提出 Rollback 策略改进范式,把世界模型用于回滚关键决策、分支探索反事实动作,并用真实机器人反馈持续校正动力学。该方法无需单独训练价值模型,即可将反事实结果蒸馏为细粒度动作级监督。
推荐理由:论文将世界模型从顺序模拟器改造成可回溯、可分支并对比反事实动作的策略训练环境,呈现了世界模型参与机器人策略持续改进的具体路径。
论文作者在 arXiv 发布 NeurIPS 2026 论文《预训练数据的词汇印记》,提出以词级 unigram 交叉熵衡量预训练语料与目标基准之间的词汇对齐。实验发现,标准基准中几乎所有词汇都已在预训练阶段出现,模型在不同词之间分配的概率质量会留下可测量的词汇印记。更强的词汇对齐在从零开始的受控实验中持续对应更高的零样本准确率。
推荐理由:论文区分了词语覆盖与概率质量分配,并用从零训练实验检验词汇对齐与零样本准确率的对应关系。
OmniShowcase 通过几何驱动的训练数据和表面法线图条件,改善从多视图参考图像生成特定主体视频时的新视角主体身份与 3D 一致性。
推荐理由:论文将几何驱动的数据合成与表面法线条件结合,配套构建 Showcase-4K 和 ShowcaseBench,便于复现并比较跨视角主体一致性表现。
研究发现,9 个前沿及近前沿 AI 模型比往返翻译生成的释义更常使用与人类处理难度相关的语言特征。相较人类写作,所有模型都更多使用低频 n-gram 和无生命主语配生命动词,多数在对话中还使用更长依赖和堆叠名词。研究认为,数学、代码和推理的信息密度目标可能使 AI 文本偏离人类的成功沟通;长度惩罚微调实验提供了概念验证,论文地址为 https://arxiv.org/abs/2610.29162。
推荐理由:论文通过句法依赖、低频 n-gram 等指标比较 9 个前沿及近前沿模型与人类写作,并检验长度惩罚对语言特征的影响。
DiscoDemo 用强化学习生成多样化且成功的机器人操作轨迹,并导出为静态数据集,用于训练更稳健的视觉运动模仿策略。其潜在条件 RL 生成器结合并行反向课程和成功门控多样性目标;在 4 项操作任务中,下游策略平均成功率在仿真中从最强基线的 40% 提升至 62%,在真实机器人上从 39% 提升至 78%。
推荐理由:论文将强化学习用作机器人示范数据生成器,并在仿真与真实机器人上对比轨迹多样性对下游模仿策略的影响。
论文提出测试时记忆演化(TTME),在科学发现任务中以更低计算成本超过测试时训练(TTT)。该方法持续更新外部记忆并蒸馏经验以指导后续发现,不更新模型权重。在同一发现框架下仅替换适配方法的评测中,TTME 在五项数学任务上均胜过 TTT,FLOPs 降低 82.8-84.6%,运行时开销降低 47.7-58.4%。
推荐理由:统一发现框架下仅替换测试时适配方法,五项数学任务的对照结果量化了 TTME 相对 TTT 的性能与计算效率差异。
一项对开放模型训练历程的研究发现,推理模型中的 {wait} 标记可由训练数据继承,而非由强化学习(RL)自行发明。在缺少该词的基座上,RL 显著提升 MATH-500 准确率时,{wait} 仍接近缺席;该词会在 OLMo-3 的中期训练阶段出现,并能由推理轨迹微调植入大多数缺少该词的基座。
推荐理由:论文区分了 {wait} 的训练继承与特定 RL 配方的放大作用,并指出标记频率和 LLM 评审可能误判推理趋势。
Video-Point Model(VPM)根据多视角视频历史和语言指令,联合预测任意视角的未来视频与持久场景点的3D轨迹。它在预训练世界模型中加入相机条件多视角处理和轨迹头,并构建 VPM-Data 仿真语料与 VP-WorldBench 预测基准。
推荐理由:将多视角视频预测与持续点轨迹监督结合,并通过仅视频对照及模拟和真实机器人实验呈现共享3D表征的作用。
Foundation4D是一种面向自动驾驶的统一前馈模型,可从多摄像头驾驶视频联合估计几何、检测目标、预测语义占据并进行高斯重建。其共享骨干以分解式时空注意力融合跨相机和跨时间观测,位姿图优化用于细化相机轨迹并组装目标轨迹。
推荐理由:Foundation4D将多摄像头驾驶视频的几何、检测、语义占据与高斯重建纳入统一前馈框架,并发布含1,253段稠密标注驾驶片段的基准,便于比较联合训练的多任务收益。
谷歌开源 Harness²,这是一个 Harness 层递归自我改进(RSI)方法,让模型在运行中自我改写外挂代码、系统提示词、工具链和技能库。在 WorkBuddy-Bench 上,GLM-5 配合 OpenCode 时综合得分从 64.2 升至 75.7(+11.5),超过原生 Gemini 3.5 Flash 的 72.4。
推荐理由:原文拆解了 Harness² 的双层递归机制,并给出 WorkBuddy-Bench 等专业基准上的具体涨分,读者可据此评估 Harness 层 RSI 的可行路径与开源接入方式。
HyperDrone 提出一款GPU加速四旋翼模拟器,以每秒数百万帧渲染高保真观测,并支持视觉策略从仿真迁移到实机。其批处理仿真速度比现有先进四旋翼批处理模拟器快20x以上,HyperLux支持Nvidia OptiX、Vulkan、Apple Metal和WebGPU后端,并可输出RGB、深度、语义或实例分割、表面法线和光流观测。
推荐理由:论文报告批处理仿真速度比同类方案快20x以上,并验证纯仿真训练的偏航控制策略可迁移至Crazyflie实机,适合作为高速具身仿真的对照案例。
Claude Mythos 5 在 8 类量子电路任务上给出优于 SOTA 的新方案,部分用例中 qubit 与 gate 数同时显著下降,整体提升超过一个数量级。
推荐理由:用 Claude 在八类量子电路设计任务上得出优于 SOTA 的方案,给出了 AI 参与受限科学推理的可迁移闭环流程。
作者提出 SpecAgent 协作协议,由小模型起草工具调用步骤、大模型做并行语义验证,把强模型从逐步生成改为整体审阅。在 τ²-Bench 上成功率与强模型相差约 1 分,并大致减半内存访问与端到端时延;在 AutomationBench、VitaBench 与 MCP-Atlas 边缘云部署中分别回收 44–75% 与 53–75% 的强弱模型质量差,且强模型生成 token 数最多减半。
推荐理由:给出小模型起草、大模型并行语义验证的工具调用协作协议,并附带 τ²-Bench 等基准上时延、内存访问与质量回收的对比数据。
腾讯混元发布 Hy-Memory-30B-A3B,一个约 3B 激活参数的长期记忆写入模型,用于替代 Mem0、MemOS、Hy-Memory 等外部记忆框架中的通用 LLM,决定保留哪些信息及如何更新记忆库。
推荐理由:原文给出一个 3B 激活参数的记忆写入专用模型,并提供在 Mem0、MemOS、Hy-Memory 与未参与训练的 EverMemOS 上的对比基准,用于评估替代通用 LLM 的写入效果。
AutoSFT 提出一个多智能体系统,将监督微调中的执行、分析与合成分离,自动化完成比例调整、修剪、修复、替换和合成等数据动作。
推荐理由:对比单智能体与多智能体分工在各基准上的提升幅度,能看出执行-分析-合成拆解对 SFT 数据研究自动化的实际收益。