跳到正文

技术方向

推理能力 最新动态

让大模型先想再答的能力:思维链、推理模型,数学与逻辑评测上的突破和争议。

214 条精选近 30 天 181 条共收录 261 条

更新

精选归档 · 第 9 页

10月10日周六第 161–180 条
  1. The Verge · AI67

    OpenAI 一周内发布近 400 项 AI 数学成果,数学家称消化需数年

    OpenAI 本周一次性发布约 400 项 AI 生成的数学成果,分布在覆盖组合数学、几何、数论、理论计算机科学等多个领域的 700 多份手稿中。The Verge 采访的数十位数学家认为完全理解这些成果可能需要数年;目前仅约 42% 的手稿在 Lean 中形式化,质量参差不齐,已有三篇因符号错误被撤稿。

    推荐理由:报道汇总了数学家对 OpenAI 一次大规模数学成果发布的反应,便于读者理解这轮 AI 冲击对学术生态的具体影响。

10月9日周五
  1. HF Daily Papers45

    S-Space:剖析多模态语言模型内部空间表征子空间

    本文在多模态语言模型中发现一个名为 S-Space 的线性表征子空间,其物体 token 表征会沿水平、垂直和距离轴编码连续坐标,并随非空间问题也保持可读。研究表明 S-Space 是模型内部的空间工作区,可被感知写入、内部推理转换,并在语言回答时被选择性读取。作者进一步把它用作空间推理失败的诊断工具,指出模型虽能形成合格的空间表征,但在跨视角变换所需的空间推理上存在关键瓶颈。

    推荐理由:提供把多模态语言模型空间表征拆成可读子空间的方法,能用来诊断空间推理失败并定位瓶颈。

  2. HF Daily Papers40

    PreSTO:通过预测子树预取加速 LLM 幂次采样

    PreSTO 提出针对 PowerMH 幂次采样的子树预取加速方法,在不改变 Metropolis–Hastings 转移核的前提下,把未来提议以一个模型调用批量预取,再沿已实现路径用原 MH 规则接受。

    推荐理由:在保持 MH 转移核不变的前提下给出可复现的推理加速方法,并附带在多个数据集与模型上的实测数据,便于迁移到其他采样器优化。

  3. HF Daily Papers39

    研究称 Qwen3 模型的强化学习增益主要来自思考泄漏而非新推理能力

    针对 Qwen3 系列模型(1.7B–8B)以 NO-THINK 模式训练并施加强化学习的研究发现,RL 带来的精度提升主要来自思考泄漏,NO-THINK 模型逐渐表现出原本 THINK 模式的行为。

    推荐理由:论文通过权重、激活和注意力头干预给出因果证据,提示读者重新评估强化学习对推理能力的实际增益来源。

10月8日周四
  1. HF Daily Papers38

    SQAM:用标量伴随匹配微调 Flow 策略的 Q 学习方法

    研究者提出 Q-learning with Scalar Adjoint Matching(SQAM),用闭式标量伴随替代逐步向量-雅可比积,把价值梯度按 flow 时间缩放,从而为 flow 策略做 RL 微调。在 OGBench 最难的 4 个领域,SQAM 的成功率比最强基线高出 18 到 35 个百分点;在真实双臂机器人上微调 VLA 策略时,三个任务也都优于监督微调。

    推荐理由:原文给出把 RL 微调 flow 策略的逐步向量-雅可比积换成闭式标量的推导,并报告在真实机器人任务上超过监督微调,可作为该方向后续工作的方法基线。

  2. HF Daily Papers36

    DCOCO:通过上下文校正恢复推测解码中并行草稿的块内依赖

    DCOCO(DFlash Contextual Corrector)是一种面向扩散式推测解码的轻量级校正机制,通过对并行草稿相邻位置的多个候选 token 评估上下文兼容性,在不放弃并行性的同时恢复块内依赖。

    推荐理由:论文指出扩散式草稿缺少块内依赖这一被忽视的代价,并给出一种轻量级并行上下文评分方案,对推测解码在多并发下的吞吐取舍有参考价值。

  3. HF Daily Papers41

    REMORY:为长上下文智能体学习残差记忆压缩历史

    REMORY 提出一种神经网络记忆模块,在文本摘要之外追加一段 soft memory tokens,让冻结的大语言模型仅用 5.2% 的输入位置就能逼近全量上下文的续写效果。

    推荐理由:提出用学习型 memory tokens 补充文本摘要,让长上下文智能体仅占 5.2% 的输入位置就逼近全量上下文表现。

  4. HF Daily Papers46

    FlowState 以执行状态构建长程 LLM 智能体记忆

    FlowState 提出面向长程 LLM 智能体的执行状态记忆机制,通过跨请求保留并回溯结构化状态,降低完整历史带来的 token 开销。其 Incremental State Update(ISU)依据新输入和反馈维护当前状态,Progressive State Access(PSA)则按需逐步呈现历史状态与证据。

    推荐理由:论文将可回溯的执行状态用作智能体记忆,并通过增量更新与渐进访问降低长程任务的 token 成本并复用历史信息。

  5. HF Daily Papers39

    LatentGRM:基于语义保持压缩的潜在空间奖励建模方法

    LatentGRM 提出用语义分块与压缩在潜在空间完成奖励建模,无需生成文本评估即可做配对判断。在 4B 与 8B 规模下偏好准确率与显式监督微调评判模型相当;LatentGRM-8B 在四个评测领域上将评估轨迹压缩 8.9–9.2 倍,vote@5 下总推理时间减少 6.1–7.0 倍。

    推荐理由:原文给出了潜在空间评估的具体做法、压缩倍率与推理加速数据,可供关注奖励模型推理成本的研究者横向比较。

  6. Hacker News56

    arXiv 论文论证 AI 自动形式化难以忠实翻译,质疑 OpenAI Navier–Stokes 证明

    arXiv 论文 2610.08144 论证,将自然语言数学文本语义忠实地翻译为 Lean 等形式语言在 Solvability Complexity Index 层级上达到 ∞,难度高于停机问题。论文给出多个 AI 将 NL 陈述与证明误译为 Lean 的实例,包括 OpenAI 此前宣布的 Navier–Stokes 方程 blow-up 证明,并指出其形式化版本与 NL 证明不对应。

    推荐理由:论文给出形式化翻译的复杂度下界,并用 OpenAI Navier–Stokes 案例展示 NL 证明与 Lean 验证之间的不一致。

10月7日周三
  1. Hugging Face Blog64

    NVIDIA 通过微调 Nemotron 在 IOI 和 IMO 同时达到金牌水平

    Nemotron-3-Ultra-CC 在 IOI 2026 拿到 535.4/600 分(来自与人类选手同条件的非官方测试),超过 361.12 的金牌线;IMO 2026 的 generate-verify-refine 系统由官方阅卷人评分,取得 30/42 分,超过 29 的金牌阈值。

    推荐理由:展示了 Nemotron 通过微调与推理协同在 IOI 与 IMO 同时达到金牌水平,并公开了完整数据集与训练配方。

  2. 量子位62

    OpenAI一夜放出722篇数学手稿,覆盖黎曼、霍奇、BSD等千禧难题

    OpenAI在GitHub公开722篇数学手稿并归为372组结果,均由一个未发布的内部模型按同一流程生成,平均每项消耗算力约相当于ChatGPT Pro思考3小时。

    推荐理由:原文呈现了OpenAI一次性放出722篇手稿的产出规模与数学家对其可验证性的担忧,读者可以据此了解AI数学产出与同行评议之间的速度落差。

10月6日周二
  1. Mistral AI74

    Mistral 推出 Mistral Large 4 公开预览版,1T 总参数原生多模态大模型

    Mistral 推出 1T 总参数、49B 激活参数的原生多模态大模型 Mistral Large 4 公开预览版,权重计划月底开源,API 已上线 Mistral Studio。

    推荐理由:Mistral 推出 1T 总参数、49B 激活参数的多模态大模型 ML4 公开预览版,并附带编码、Agent、网络安全、视觉理解与科学推理等多个基准的逐项对比数据与训练基础设施介绍。

  2. HF Daily Papers60

    基础模型借鉴训练数据中的 token 线索即可获得推理能力

    该研究指出,在基础模型回复开头固定特定 token 线索,可使其在数学和编程推理任务上达到与 RL 训练版本相当的水平。回复前的 '. Okay' 线索将 Olmo-3-7B 的 MATH-500 pass@1 从 42% 提升至 78%,'Alright,' 线索将 Qwen3-14B 从 72% 提升至 87%。

    推荐理由:论文把基础模型的推理能力回溯到训练数据中的特定 token 线索,给出了一种不靠 RL 也能恢复推理表现的替代解释。

  3. HF Daily Papers41

    Naver AI 提出循环式投机解码方法 DLoop

    Naver AI 提出循环式投机解码方法 DLoop,在目标模型验证前自适应执行多轮草稿生成并一次性验证全部 token,减少目标模型前向传播次数。该方法在 EAGLE-3、DFlash、Domino、DSpark 及多 token 预测模块上将 wall-clock 加速提升 5%-41%,并保持无损解码;配套的循环感知训练让草稿模型在额外草稿阶段保持可靠。

    推荐理由:原文提出循环式投机解码策略,在验证前合并多轮草稿生成,可叠加在多种已有方案上额外提速 5%-41%。

  4. HF Daily Papers46

    U-Space:通过机制可解释性量化大语言模型的不确定性

    研究团队提出 U-Space 方法,借助机制可解释性把大语言模型的不确定性映射到残差空间中的低维可解释基底上。U-Lens 把每个 token 状态投影到表示怀疑与确信的语义锚上,得到逐 token 的不确定性热图,可聚合成标量置信度,无需正确性标签、多次采样或额外训练;在多个推理基准的标准评估和长度控制评估下均优于已有基线,且迁移性强于有监督估计器。代码开源在 GitHub。

    推荐理由:把不确定性量化做成残差空间中的可解释基底,为推理模型提供不需要标签或多次采样的置信度读数。

  5. HF Daily Papers46

    Self-Retrospection Distillation:把事后轨迹经验蒸馏成事前预判

    该论文提出 Self-Retrospection Distillation(SRD),把已完成轨迹中的事后经验蒸馏为同一策略在交互前的预判,弥补 RLVR 在 rollout 奖励一致时信号消失的缺陷。

    推荐理由:该方法在 rollout 组奖励一致、RLVR 失去信号的场景下仍能从轨迹中提取学习信号,为奖励稀疏的长程智能体训练提供可迁移思路。

10月4日周日
  1. HF Daily Papers37

    受控实验检验大语言模型对序列结构的理解能力

    该研究通过策略识别、Markov 规则遵循与高阶序列依赖的受控实验,揭示了大语言模型在识别策略与忠实模拟之间存在显著差距:更长上下文未必带来帮助,且匹配的动作分布可能掩盖根本错误的生成机制。这些发现对将大语言模型作为行为模拟器和交互式智能体的评估方式提出了挑战。论文见 https://arxiv.org/abs/2610.04977

    推荐理由:原文用受控实验区分识别策略与忠实模拟,指出更长上下文未必有效,并提示现有评测可能高估大语言模型的序列行为能力。