Ai2 近期研究汇总:覆盖 LLM 基准审计、地理空间推理与 Olmo 3 混合模型分析
Ai2 博客最近发布 5 篇研究文章,涵盖 LLM 基准逐题审计方法 BenchMIRT、地理空间推理平台 OlmoEarth,以及构建 Shippy 智能体的经验。
Ai2 博客最近发布 5 篇研究文章,涵盖 LLM 基准逐题审计方法 BenchMIRT、地理空间推理平台 OlmoEarth,以及构建 Shippy 智能体的经验。
项目在 Lean 中完成 11 个正方形最优排列的 AI 辅助形式化证明,验证运行接受全部 7,920 个本地模块,最终审计零未通过。最优边长由区间 (9/25, 37/100) 内一个八次多项式的唯一实根给出,近似值约为 3.8770835900228141773。
推荐理由:仓库用 Lean 配合原生数值证书完成 11 个正方形最优排列的形式化证明,可作为 AI 辅助定理证明的参考案例
arXiv 论文 2610.08144 论证,将自然语言数学文本语义忠实地翻译为 Lean 等形式语言在 Solvability Complexity Index 层级上达到 ∞,难度高于停机问题。论文给出多个 AI 将 NL 陈述与证明误译为 Lean 的实例,包括 OpenAI 此前宣布的 Navier–Stokes 方程 blow-up 证明,并指出其形式化版本与 NL 证明不对应。
推荐理由:论文给出形式化翻译的复杂度下界,并用 OpenAI Navier–Stokes 案例展示 NL 证明与 Lean 验证之间的不一致。
该综述梳理了面向大语言模型的参数内记忆增强方法,将可复用参数对象接入推理前向计算以承载后预训练知识。文中按参数位置(Embedding、Attention、FFN 或混合)与获取时机(在线、离线)两个正交维度分类,并讨论了干扰、安全性以及递归自我改进等开放方向。
研究人员在设备端级联语音智能体中引入推测式工具执行,通过 Predictor 模块在 ASR 阶段预测工具调用并预先缓存结果,将 Android 语音助手首音频响应时间中位数从 5.79s 降至 4.60s。框架同时加入基于规则的自校正校验以过滤用户口误,并在最坏情况下由 LLM 直接调用工具兜底,最终将响应延迟标准差从 3.49s 降至 2.81s。
OpenAI 发布由内部前沿模型产出的数学研究成果,存入 GitHub 仓库,并附带模型推理摘要、Pro 算力估算和问题尝试次数等透明度数据。多数结果使用的算力约相当于 ChatGPT Pro 三小时思考时长,其中许多证明已在 Lean 中形式化。OpenAI 表示未来将负责任地发布该模型,并资助围绕这些结果举办的学术活动。
同一件事,精选收录的是《OpenAI一夜放出722篇数学手稿,覆盖黎曼、霍奇、BSD等千禧难题》
VIS-Ground 把视频交互式叙事中的异构输入转成可执行的生成约束,包含 Structured Context Abstraction、Generation Constraints Induction 与 Constrained Video Generation 三个模块,分别完成上下文抽象、约束归纳与约束执行。
推荐理由:把观众请求、叙事源与已渲染状态统一转成可执行约束,可作为交互式视频生成接地方案的方法参考。
论文提出 ViRA,一个与规划器无关的视觉表征对齐框架,并发现 VFM 引导的视觉表征对端到端驾驶的提升幅度取决于目标选择与辅助感知监督。
推荐理由:论文给出可迁移结论,把视觉基础模型表征对齐进端到端规划器时,目标选择与感知监督共同决定最终增益。
本文提出 Systematic Multi-Agent Vision-and-Language Navigation(MAVLN),首次将多智能体视觉语言导航形式化为带依赖和资源约束的协调问题,并配套发布包含 11,724 条 episode、145 个场景、最多 4 个智能体的基准,覆盖三种指令设置。
推荐理由:把多智能体视觉语言导航形式化为带约束的协调问题,并配套发布 11724 条 episode 的基准与 TRISS 基线。
该研究分析了 JetBrains IDE 中 4,782 段软件工程师与编码智能体的真实交互会话,发现长会话里的任务类型覆盖项目代码问答、规划、审查、重构和执行等多类,并会随会话进展切换类型,与基于 issue 的基准任务差异显著。
推荐理由:基于 4,782 段真实 IDE 会话数据,揭示当前编码智能体基准与实际任务流的差距,为评测设计提供新的校准依据。
MIMESIS 论文提出一个面向交互式智能体训练的用户模拟器,其 9B 模型在 SOUL-Index 上达到 65.7,超过当时最强的前沿模型。相比 Claude-Opus-5,行为保真度提升 13.4 分,图灵距离降低 3.6 分。
推荐理由:原文给出面向交互式智能体训练的用户模拟器构建方法与自蒸馏反馈方案,可作为搭建训练环境和密集反馈机制的参考。
SALD 提出了一种无需外部教师网络的扩散模型自参考训练框架,在不改动推理流程的前提下提升了生成质量。
推荐理由:原文给出不依赖外部教师网络的扩散模型自参考训练思路,可为改进现有扩散模型训练流程提供可迁移的方法参考。
TouchScale 是一个 500 小时的人体视觉-触觉数据集,采用单一可穿戴设备采集约 2K 个任务,同步记录自我中心 RGB-D 视频、腕部 RGB 视频和双手密集触觉信号。
推荐理由:用统一采集的 500 小时视觉-触觉数据验证了规模化效果,并把接触预测和机器人操作两组数字同时给出。
miniTE 开源框架通过数值与系统优化,弥合原生 NVFP4(W4A4)强化学习中的训练与推理执行差距。相同权重和精度并不保证相同策略,不同引擎的数值执行差异可能造成训练与推理不匹配并使 RL 失稳;严格对齐设置可将 log-probability 差距降至约 1e-8。
推荐理由:miniTE 从数值和系统两侧拆解原生 NVFP4 强化学习的训练与推理差异,并公开诊断工具、算子和训练配方,为低比特 RL 复现提供可操作材料。
LiveMACEBench 提出一种过程感知基准,以实时金融市场为持续演化的测试环境,对 5 个前沿 LLM 智能体在统一工具调用、持久记忆、规则遵循与多智能体协作配置下进行 30 天评估。
针对用户偏好异构且反馈数据稀缺导致 LLM 个性化对齐困难的问题,论文提出近似帕累托最优(APO)方法:先将更新兼容的用户分组,组内结合梯度下降与受控上升协调竞争目标,得到接近用户最优的初始化,再用少量本地适配迭代优化。在 Fed-ChatbotPA 和 UltraFeedback 上的实验表明,仅用 20 个本地样本即可稳定优于现有方法。
研究者将 TabPFN 特征用于表格异常检测,提出不微调的 ZEN 方法和微调的 FOCUS 方法,二者在 ADBench 基准上分别取得高于所有基线及进一步提升的平均 AUROC。该方案在不同 PFN 模型间具有良好泛化性。
作者提出 Empirical Variational Autoencoder(EVA),一种面向连续值(非向量量化)序列的通用生成框架。EVA 基于 VAE 的证据下界(ELBO),从训练数据中经验式地学习自回归潜在先验,仅需在 VAE 之上增加一个线性层即可实现,通过用自预测先验替代标准高斯约束缓解了先验与后验之间的分布差距。
FLaRe(Flow-based Latent Reasoning)在学习潜在空间内用 flow matching 实现大语言模型潜在推理,覆盖潜在空间编码、流训练位置、答案读出和模型自身已验证思维再训练四个环节。该方法在有用性、多样性、可解释性、可精炼性、效率五个维度均优于既有潜在推理方法,并在算术基准上达到显式 CoT 97% 的准确率,延迟仅为其四分之一。
该研究指出,在基础模型回复开头固定特定 token 线索,可使其在数学和编程推理任务上达到与 RL 训练版本相当的水平。回复前的 '. Okay' 线索将 Olmo-3-7B 的 MATH-500 pass@1 从 42% 提升至 78%,'Alright,' 线索将 Qwen3-14B 从 72% 提升至 87%。
推荐理由:论文把基础模型的推理能力回溯到训练数据中的特定 token 线索,给出了一种不靠 RL 也能恢复推理表现的替代解释。
这篇论文评测了 20 种深度伪造检测器与近四年发布的 10 种生成器,发现检测准确率随时间从 99.5% 降至 76%,并会被对抗扰动压至 2% 以下。作者将这一不可靠归因于生成器能精确复刻真实内容,提出一种输出校准式可否认性预测的检测范式,在已知生成器集合上将误认证率约束在 1% 以内。
推荐理由:原文把深度伪造检测不可靠归因于生成器能复刻真实内容,并提出带校准阈值的认证框架,给出了可量化的误认证上限。
PhysEvo 提出围绕单个冻结模型 Astra 的物理递归自改进框架:任务智能体执行操作,元智能体基于轨迹诊断失败、修订工具与技能,并在不更新模型权重的前提下持续自我改进。
推荐理由:原文给出在冻结模型上做递归自改进的机器人框架与仿真、真机对比数据,读者可据此判断该思路对具身智能的迁移价值。
Naver AI 提出循环式投机解码方法 DLoop,在目标模型验证前自适应执行多轮草稿生成并一次性验证全部 token,减少目标模型前向传播次数。该方法在 EAGLE-3、DFlash、Domino、DSpark 及多 token 预测模块上将 wall-clock 加速提升 5%-41%,并保持无损解码;配套的循环感知训练让草稿模型在额外草稿阶段保持可靠。
推荐理由:原文提出循环式投机解码策略,在验证前合并多轮草稿生成,可叠加在多种已有方案上额外提速 5%-41%。
CDMD 提出一种无数据扩散蒸馏方法,无需训练辅助 fake-score 网络,在 ImageNet 256×256 上以 1 NFE 取得 2.04 FID,超过 DMD2 的 3.43 FID。方法把样本生成与速度估计统一到单个学生网络,并给出通过 Wasserstein 收敛连接一致性目标与分布匹配的理论分析。
推荐理由:把样本生成与速度估计统一到单个学生网络,给出更简洁的无数据扩散蒸馏框架,1 NFE 时 FID 即超过 DMD2。
CADFather 是一个面向 CAD 自动重建的智能体系统,通过协调多种互补工具从三维网格恢复参数化 CAD 程序。系统由视觉语言助手检查目标与中间重建的渲染图,决定调用哪些工具、生成多少候选程序以及何时终止,候选生成与参数优化相互衔接并以执行反馈驱动下一步决策。
推荐理由:原文给出多工具协同的智能体重建框架及多个 CAD 数据集上的评测,读者可据此判断该方法对自己工程重建任务的迁移性。
Gan Jiang 是一个面向粉末 X 射线衍射的自学习科学智能体,在 DeltaXRDbench 的单相与多相识别任务上均领先所对比方法。
推荐理由:原文展示了无需重训模型即可从失败诊断中迭代出可复用技能的方法,并给出了多基准上的精度对比,可作为科学智能体技能积累机制的参考。
EMHO 提出一种不修改底座模型、仅迭代优化具身智能体 harness 的自我演化框架,并通过 EMHO-Merge 支持多子任务共享同一 harness。该框架在 EmbodiedBench 的导航与操作任务上评估,使 Qwen 9B 与 27B 模型的任务成功率均获得一致提升,并改变了智能体监测进度、使用视觉工具、锚定观测和应对失败的方式。
推荐理由:提出在冻结底座模型的前提下,让具身智能体的 harness 自行从执行轨迹中迭代优化,为不重训模型的智能体改进提供了一条可迁移路径。
VisionWeave 为多模态大模型引入端到端学习弹性视觉表征的能力,结合门控空间池化器与粒度路由器两个组件。基于 Qwen3.8-27B(自蒸馏训练超过 30K A100 GPU 小时),平均节省 43.0% token 同时在八个基准上保持 98.9% 原生性能,显著优于固定 50% 剪枝基线仅保留的 88%。
推荐理由:给出了在多模态大模型中端到端学习弹性视觉表征的具体方法,并以 token 节省与吞吐数据展示相对固定剪枝方案的效率优势。
研究团队提出 U-Space 方法,借助机制可解释性把大语言模型的不确定性映射到残差空间中的低维可解释基底上。U-Lens 把每个 token 状态投影到表示怀疑与确信的语义锚上,得到逐 token 的不确定性热图,可聚合成标量置信度,无需正确性标签、多次采样或额外训练;在多个推理基准的标准评估和长度控制评估下均优于已有基线,且迁移性强于有监督估计器。代码开源在 GitHub。
推荐理由:把不确定性量化做成残差空间中的可解释基底,为推理模型提供不需要标签或多次采样的置信度读数。
论文提出 Stateless Language Agents(SLA)架构,将研究状态保存在调度器中,每次调用为无状态 Agent 重建角色特定的上下文,并由无状态 Advisor 读取调度器汇总的证据后给并行 Worker 分配具体实验。
推荐理由:原文提出把研究状态外置到调度器、由无状态 Agent 执行的具体架构,并用十亿 token 量级的对比实验展示其在搜索效率和最终结果上的优势。
Hebero 是基于 Isaac Lab 的 GPU 并行异构机器人学习基准,可联合训练并评估单一策略在 40 个异构任务上的表现。作者提出演示引导策略优化方法 DGPO 及其中的 IW-ABC 机制,在每任务 50 条演示条件下,状态输入平均成功率达 90.1%、视觉输入达 93.5%,并在实体 Piper 机器人上由同一多任务策略完成 4 个任务。
推荐理由:把 GPU 并行仿真与 40 个异构任务训练整合在同一基准,并提出用极少演示就能达到高成功率的 DGPO 方法,为多任务机器人策略的快速评测和真机迁移提供了一个可直接复现的开源基线。
该论文提出 Self-Retrospection Distillation(SRD),把已完成轨迹中的事后经验蒸馏为同一策略在交互前的预判,弥补 RLVR 在 rollout 奖励一致时信号消失的缺陷。
推荐理由:该方法在 rollout 组奖励一致、RLVR 失去信号的场景下仍能从轨迹中提取学习信号,为奖励稀疏的长程智能体训练提供可迁移思路。
Naver AI 提出 NP-OPD 方法,在 on-policy 蒸馏(OPD)的 rollout 阶段额外引入一个能力较弱的负向策略作为负参考,与教师监督互补,为学生模型提供显式负向信号,同时保留原有的教师监督。
推荐理由:原文给出在 On-Policy 蒸馏中引入负向策略 rollouts 的具体做法和跨规模实验结果,为改进学生模型蒸馏训练提供了可迁移的负向信号方案。
GitHub 发布开源 AI 代码评审基准 ReviewBench,包含 219 个跨 19 种语言的公开 PR,提供 grounded 和 augmented 两类精度/召回指标。
推荐理由:原文公开了 ReviewBench 的语料来源、评测指标和接入方式,读者可据此构建可复现的 AI 代码评审离线评测体系。
Hinton联合22位作者发表首篇RSI论文《What if automating AI R&D triggers an intelligence explosion?
推荐理由:论文用Anthropic、OpenAI内部数据建立模型,给出了AI研发自动化压缩进步周期的具体估算,为读者判断递归自我改进的门槛提供了可量化的参照。
论文提出 Diffusion On-Policy Context Distillation(D-OPCD),把 Text-to-Image 智能体 harness 累积的提示迭代、记忆与技能等能力通过 on-policy 蒸馏固化进扩散模型权重,使模型在仅接收原始查询时也能保留部分 harness 增益。
推荐理由:提出 D-OPCD 把智能体迭代增益固化进扩散模型权重,量化了脱离 harness 后仍可保留的提升幅度,并指出 harness 与模型持续协同进化的可行路径。
MemPilot 论文提出一个用强化学习动态调度多模态智能体记忆策展的框架,按偏好平衡性能、成本与延迟。策略联合控制证据量、策展指令、模型选择和视觉访问,并通过目标维度优势解耦和前缀边际效用估计做多步信用分配;在五个多模态智能体记忆基准上的偏好扫描显示其权衡前沿优于现有基线。
推荐理由:这篇论文提出用强化学习运行时调度多模态记忆策展的方法,可参考其性能-成本-延迟权衡的设计思路。
VepAgent 提出一个面向视频事件预测的智能体框架,将因果转换推理与工具增强强化学习结合,在 FutureBench 和 NEPBench 数据集上达到 SOTA,显著超越更大规模的 MLLM。其构建了 futurebench-4K 思维链数据集用于监督微调,并集成状态追踪、帧检索和区域放大等诊断工具,通过复合奖励机制联合优化预测精度、因果一致性与可靠先验。
Trace2Env 提出一种无需训练的智能体语言世界建模框架,在原始系统不可用时将历史交互轨迹重建为可复用 worldbook,并在运行时推断每个动作的观测和长期状态变化。在九个环境的实验中,Trace2Env 在下一观测保真度和长程交互一致性上均优于基于 prompt 的语言世界模型,多轮交互中任务智能体动作在真实环境回放时仍然有效。
推荐理由:在没有可执行环境时仅凭历史交互轨迹重建世界模型并支撑多轮任务,为训练和评估 LLM 智能体提供了一种可复用的替代路径。
SoloQ 提出面向扩散语言模型的免校准后训练量化框架,用结构化 K-RPBH 旋转与轻量重缩放把权重和激活映射到可预测分布,从而支持分布匹配码本和硬件原生 NVFP4。
推荐理由:提出面向扩散语言模型的免校准量化方法,保留 4-bit 精度并给出 NVFP4 部署下的显存与推理加速数据。