跳到正文
10月15日周四
  1. HF Daily Papers40

    CriticOPD:用批评引导的 On-Policy 蒸馏恢复可靠监督

    CriticOPD 提出一种批评引导的 On-Policy 蒸馏方法,让教师用参考答案批评学生错误续写,学生据此重写后续内容,再由教师对重写后的后缀打分而学生不直接看到反馈。该方法在六个数学推理基准上比 OPD 平均准确率提升 4.57 个百分点(Qwen3-1.7B)和 4.06 个百分点(Qwen3-0.6B),竞赛题上增益最大。

    推荐理由:原文指出 on-policy 蒸馏中教师跟随学生错误解的机制问题,并给出可复现的批评改写流程与基准提升幅度。

  2. HF Daily Papers52

    先考虑后取消:思考如何让推理模型按逻辑字面理解 some 和 or

    延长推理模型的思考时间,会让多数受测的开放推理模型以及 GPT-5 按逻辑字面理解 some(并非所有)与 or(并非两者),取消相关语用推断。研究固定模型权重,只改变思考时长,并在多个阶段截取推理轨迹,以定位解释变化。轨迹显示模型先考虑扩展解释再将其取消;从早期推理阶段作答这一探索性方法可恢复相关语用推断,且不损失字面准确率,间接回答等语境推断也有所改善。

    推荐理由:论文固定模型权重并改变思考时长,再分阶段截取推理轨迹,拆解模型处理日常语用推断的机制,便于理解推理深度与语义解释之间的关系。

  3. HF Daily Papers38

    ACT3D:通过强化学习让视觉语言模型在 3D 环境中学会思考与主动探索

    ACT3D 通过强化学习训练视觉语言模型从单张第一人称视角主动探索 3D 环境,以最终答案正确性作为奖励信号,无需对探索路径做直接监督。在六个 3D 基准上平均准确率达 53.2%,相对基座 Qwen 模型提升 22.0%、超过 Gemini 3.6 Flash,输入帧数比现有开源 3D 方法少 50-70%,并在未见过的领域平均提升 5.9%。

    推荐理由:原文给出基于结果奖励的强化学习方法,让 VLM 学会在 3D 环境中自适应探索,可作为视觉问答主动感知范式的参考。

  4. HF Daily Papers47

    Event-STVG:面向长视频事件推理的时空视频定位基准

    Event-STVG 提出长视频事件推理的时空视频定位任务与大规模基准,将重复事件区分、事件定位、角色推断和多目标定位纳入统一评测。基准覆盖足球及另外7个领域,共标注4,016次事件出现;最强模型在10分钟跨度上的 m-vIoU 仅为5.4%,并持续混淆重复同类事件。代码与标注地址为 https://github.com/THU-KEG/Event-STVG。

    推荐理由:基准将重复事件区分、角色推断和多目标时空定位放在同一任务中,便于比较 MLLM 在长视频事件理解上的细粒度能力差异。

  5. 面壁 MiniCPM39

    面壁 MiniCPM 开源 MiniCPM-V-4.7-35B-A3B 的 DSpark 投机解码草案模型

    面壁 MiniCPM 在 Hugging Face 开源 MiniCPM-V-4.7-35B-A3B-DSpark,这是专为 MiniCPM-V-4.7-35B-A3B 配对的 DSpark 投机解码草案模型,含 5 层约 3.89 亿参数,单次前向生成 15 个 token,使用 200 万样本训练 6 轮 AdamW。

    推荐理由:DSpark 草案模型的训练配方与 vLLM、llama.cpp 的投机解码接入示例都在原文给出,为 MiniCPM-V-4.7 的推理加速提供了一个现成方案。

10月14日周三
  1. HF Daily Papers37

    Open-o3-Video-v2:以可验证时空证据进行检索、定位与推理

    Open-o3-Video-v2 将视频推理建模为统一的智能体证据获取流程,先识别缺失信息、获取额外观察,再把支持推理的时空对象定位写入轨迹后继续作答。

    推荐理由:原文提出把视频推理拆为可验证证据获取的智能体流程,并给出具体基准结果,读者可据此评估该范式在长视频任务上的实际收益。

  2. 量子位70

    面壁智能开源MiniCPM-V 4.7:35B多模态MoE模型3G内存即可在iPhone断网运行

    面壁智能与OpenBMB正式开源多模态模型MiniCPM-V 4.7,包含35B-A3B(MoE,总参数35B、激活3B)与1B两个版本,其中35B-A3B在iPhone 17 Pro Max上仅占约3G内存,断网状态下解码速度可达每秒13个token以上。

    推荐理由:原文给出了35B MoE模型仅用3G内存就能在手机上运行的前瞻专家调度与量化方案,可作为端侧部署的工程参考。

  3. HF Daily Papers50

    MolLean:面向化学推理的过程可验证语言

    MolLean 提出一种用于化学推理的过程可验证语言,借助显式分子状态、基于 Lean 的验证和交互式工具反馈,以减少生成与反应任务中的模型幻觉。其分层 Lean 内核检查状态转换与断言,MolLean-MCP 状态化工具接口在生成时暴露状态转换、检查与分子读数,模型据反馈决定下一动作,被拒绝的动作不改变状态;框架支持单次轨迹执行、整条轨迹修订和交互式推理。

    推荐理由:论文将化学推理表示为可验证的分子状态转换,用 Lean 内核检查状态变化,并在 12 个任务上比较三种执行模式,为可检查、可修订的推理流程提供方法参考。

  4. Google AI Blog81

    Google 发布 Gemini 4 Argon 前沿模型,定价 $2/$10 每百万 token

    Google 发布 Gemini 4 Argon 前沿模型,在 Vals Index 排名第一、ERQA 推理基准得分 87%。模型通过 Gemini API、AI Studio、Antigravity、Gemini app 等渠道全球开放,提供 1M 统一输入输出上下文,定价 $2/$10 每百万 input/output token,缓存输入享 95% 折扣。

    推荐理由:原文给出定价、上下文上限与多项工程落地案例,可据此评估它在长链路编程与 Agent 场景中的实际替代价值。

10月13日周二
  1. AWS Machine Learning Blog39

    Amazon SageMaker AI 上的 Mixture-of-Experts 模型 kernel 优化实践

    AWS 团队在 Amazon SageMaker AI 上公开三项 Mixture-of-Experts GPU kernel 优化,单项分别带来 2–4% 吞吐提升、10% 吞吐提升和 9% 首 token 时延下降。

    推荐理由:原文给出 Swap-AB 转置、Triton 后端路由与消除 JIT 重编译三种 MoE 推理优化手段及对应吞吐与时延数据,便于在同类推理栈中复用。

  2. HF Daily Papers46

    HybridAgent:融合潜在推理与文本交互的智能体框架

    HybridAgent 提出在统一生成过程中动态切换潜在推理与文本交互的智能体框架,通过轻量级 HybridLink 衔接两种模式,并由连续工作记忆保留多轮上下文,再配合 HybridSFT 与 HybridRL 两阶段后训练方法。

    推荐理由:HybridAgent 把潜在推理与文本交互整合到统一生成过程里,为带工具调用前缀的 agent 设计提供了一种可借鉴的混合推理路径。

  3. HF Daily Papers44

    LLM2R:用大语言模型做三维零件拼装

    论文 LLM2R 把三维零件拼装任务建模为序列预测,用 Point-BERT 编码器和 Q-Former 把每个零件压缩为几何 token,再用配合 LoRA 的因果大语言模型在一次前向传播内预测全部零件 SE(3) 位姿。

    推荐理由:作者展示了把因果注意力大语言模型一次性预测全部零件位姿的方法,给出了随零件数扩展和零样本迁移的对比结果,可作为 LLM 迁移到三维几何的参考。

10月12日周一
  1. HF Daily Papers35

    TPPO:面向语言模型推理的 Tracking-Value PPO 方法

    论文提出 Tracking-Value PPO(TPPO),通过累计式 value 参数化与终局监督改进稀疏奖励下的 credit assignment,在 Qwen3-4B-Base 和 Qwen3-8B-Base 上数学推理分数分别比 PPO 提高 7.0 和 8.4 分。

    推荐理由:原文提出了 Tracking-Value PPO 方法与价值演化的可加性分析,可作为稀疏奖励下改进 PPO 价值估计的参考。

  2. HF Daily Papers39

    AUGUstus:统一生成与理解的自动驾驶 VLA 模型

    AUGUstus 提出一种统一扩散式动作生成与自回归 CoT 理解的自动驾驶 VLA 模型,训练时 CoT 监督动作生成,推理时仅输出动作以实现低延迟。该模型在 NAVSIMv1 取得 94.6 PDMS,NAVSIMv2 取得 90.7 EPDMS,均为不使用 scorer 模块的 SOTA;在 nuScenes 上平均 L2 误差 0.27 m、平均碰撞率 0.05%。

    推荐理由:原文在自动驾驶 VLA 模型的速度与可解释性权衡下提出统一扩散动作生成与自回归 CoT 的方案,端到端规划方向可参考其训练与推理分离的思路。

  3. HF Daily Papers36

    LongR:通过密集效用奖励强化学习提升长上下文推理能力

    LongR 是一个通过强化学习提升大语言模型长上下文推理能力的统一框架,将「思考-阅读」机制与基于相对信息增益的上下文密度奖励相结合,无需证据标注即可量化相关文档的效用。

    推荐理由:原文提出了基于相对信息增益的密度奖励设计,并在多套长上下文基准上给出可复用的提升幅度,为长上下文强化学习的奖励工程提供了一种具体方案。

10月11日周日
  1. 量子位55

    陶哲轩发文称AI让数学进入2.0时代:证明泛滥后,理解才是护城河

    陶哲轩在演讲中宣布数学2.0时代已至,认为AI正把数学从证明稀缺推向证明泛滥,并归纳出数学易受AI冲击的三个条件:证明可客观检验、对象与推理高度可数字化、高质量文献已数字化。

    推荐理由:陶哲轩把AI对数学的冲击拆成三个叠加条件,并指出证明泛滥之后,理解与评估机制才是新瓶颈。

  2. 量子位74

    OpenAI 发布挂谷猜想两篇手稿,称将三维加强到极大函数版并首次推进到四维

    OpenAI 于 10 月 7 日一次性公开 722 篇数学手稿,其中编号 074 的两篇声称证明挂谷猜想在三维的极大函数版本与四维的 Hausdorff 维数版本。

    推荐理由:文章把两篇挂谷论文的证明内容、对王虹工作的继承与推进讲得较为细致,读者可据此判断 AI 攻克开放数学难题的实际进展。

  3. HF Daily Papers46

    NoteBank 用稀疏记忆回放释放线性注意力的长上下文能力

    NoteBank 是一面向线性注意力的稀疏情节记忆机制:把选定文本存档后,通过主干原生前向计算回放,无需额外训练、外挂嵌入模型或独立检索器即可即插即用。

    推荐理由:训练无关的稀疏记忆外挂让线性注意力在百万 token 上仍保持检索能力,并可直接挂接到现有预训练骨干上复用。

10月9日周五
  1. HF Daily Papers45

    S-Space:剖析多模态语言模型内部空间表征子空间

    本文在多模态语言模型中发现一个名为 S-Space 的线性表征子空间,其物体 token 表征会沿水平、垂直和距离轴编码连续坐标,并随非空间问题也保持可读。研究表明 S-Space 是模型内部的空间工作区,可被感知写入、内部推理转换,并在语言回答时被选择性读取。作者进一步把它用作空间推理失败的诊断工具,指出模型虽能形成合格的空间表征,但在跨视角变换所需的空间推理上存在关键瓶颈。

    推荐理由:提供把多模态语言模型空间表征拆成可读子空间的方法,能用来诊断空间推理失败并定位瓶颈。

  2. HF Daily Papers34

    SpatialASM:为 LVLM 引入主动空间心智化提升空间推理能力

    SpatialASM 提出主动空间心智化(ASM)训练框架,让 LVLM 从被动观察图像转为主动规划视角并在内部重建缺失的空间证据,推理时无需额外视图或渲染器。该方法借助 allocentric 新视角生成器合成可验证的"规划—想象—推理"轨迹,在四个 LVLM 主干与七个空间基准上提升了空间推理能力,同时保持通用视觉能力。

  3. HF Daily Papers40

    PreSTO:通过预测子树预取加速 LLM 幂次采样

    PreSTO 提出针对 PowerMH 幂次采样的子树预取加速方法,在不改变 Metropolis–Hastings 转移核的前提下,把未来提议以一个模型调用批量预取,再沿已实现路径用原 MH 规则接受。

    推荐理由:在保持 MH 转移核不变的前提下给出可复现的推理加速方法,并附带在多个数据集与模型上的实测数据,便于迁移到其他采样器优化。

  4. HF Daily Papers34

    LLM 推测解码的多层隐藏状态选择:基于信息熵与 CKA 的分析框架

    研究者提出一套基于信息量(矩阵熵)与多样性(CKA)的多层隐藏状态选择框架,用于优化推测解码中的层选择策略。该框架引入 token-entropy 过滤和熵/CKA 层选择算法,在 EAGLE3 风格的推测解码中,所选层集优于默认的 [2, N//2, N-3] 等固定规则,同时为理解 LLM 解码器隐藏状态的几何与信息结构提供了实用分析工具。

  5. HF Daily Papers39

    研究称 Qwen3 模型的强化学习增益主要来自思考泄漏而非新推理能力

    针对 Qwen3 系列模型(1.7B–8B)以 NO-THINK 模式训练并施加强化学习的研究发现,RL 带来的精度提升主要来自思考泄漏,NO-THINK 模型逐渐表现出原本 THINK 模式的行为。

    推荐理由:论文通过权重、激活和注意力头干预给出因果证据,提示读者重新评估强化学习对推理能力的实际增益来源。

10月8日周四
  1. HF Daily Papers38

    SQAM:用标量伴随匹配微调 Flow 策略的 Q 学习方法

    研究者提出 Q-learning with Scalar Adjoint Matching(SQAM),用闭式标量伴随替代逐步向量-雅可比积,把价值梯度按 flow 时间缩放,从而为 flow 策略做 RL 微调。在 OGBench 最难的 4 个领域,SQAM 的成功率比最强基线高出 18 到 35 个百分点;在真实双臂机器人上微调 VLA 策略时,三个任务也都优于监督微调。

    推荐理由:原文给出把 RL 微调 flow 策略的逐步向量-雅可比积换成闭式标量的推导,并报告在真实机器人任务上超过监督微调,可作为该方向后续工作的方法基线。

  2. 量子位54

    何恺明团队提出NAT-ARC:用ImageNet预训练让视觉模型挑战ARC抽象推理

    何恺明团队提出纯视觉ARC方案NAT-ARC,先在ImageNet上做MAE自监督预训练,再迁移到抽象格子推理。表现最好的单模型参数量0.6B,在ARC-1上跑到63.4% pass@2,三模型集成达到70.2%,逼近8B语言模型系统The ARChitects的71.6%。

    推荐理由:用ImageNet MAE预训练替代随机初始化,让0.6B视觉模型在ARC-1上逼近8B语言模型系统的水平。

  3. HF Daily Papers36

    DCOCO:通过上下文校正恢复推测解码中并行草稿的块内依赖

    DCOCO(DFlash Contextual Corrector)是一种面向扩散式推测解码的轻量级校正机制,通过对并行草稿相邻位置的多个候选 token 评估上下文兼容性,在不放弃并行性的同时恢复块内依赖。

    推荐理由:论文指出扩散式草稿缺少块内依赖这一被忽视的代价,并给出一种轻量级并行上下文评分方案,对推测解码在多并发下的吞吐取舍有参考价值。

  4. HF Daily Papers41

    REMORY:为长上下文智能体学习残差记忆压缩历史

    REMORY 提出一种神经网络记忆模块,在文本摘要之外追加一段 soft memory tokens,让冻结的大语言模型仅用 5.2% 的输入位置就能逼近全量上下文的续写效果。

    推荐理由:提出用学习型 memory tokens 补充文本摘要,让长上下文智能体仅占 5.2% 的输入位置就逼近全量上下文表现。

  5. HF Daily Papers46

    FlowState 以执行状态构建长程 LLM 智能体记忆

    FlowState 提出面向长程 LLM 智能体的执行状态记忆机制,通过跨请求保留并回溯结构化状态,降低完整历史带来的 token 开销。其 Incremental State Update(ISU)依据新输入和反馈维护当前状态,Progressive State Access(PSA)则按需逐步呈现历史状态与证据。

    推荐理由:论文将可回溯的执行状态用作智能体记忆,并通过增量更新与渐进访问降低长程任务的 token 成本并复用历史信息。

  6. HF Daily Papers39

    LatentGRM:基于语义保持压缩的潜在空间奖励建模方法

    LatentGRM 提出用语义分块与压缩在潜在空间完成奖励建模,无需生成文本评估即可做配对判断。在 4B 与 8B 规模下偏好准确率与显式监督微调评判模型相当;LatentGRM-8B 在四个评测领域上将评估轨迹压缩 8.9–9.2 倍,vote@5 下总推理时间减少 6.1–7.0 倍。

    推荐理由:原文给出了潜在空间评估的具体做法、压缩倍率与推理加速数据,可供关注奖励模型推理成本的研究者横向比较。

10月7日周三
  1. Hugging Face Blog64

    NVIDIA 通过微调 Nemotron 在 IOI 和 IMO 同时达到金牌水平

    Nemotron-3-Ultra-CC 在 IOI 2026 拿到 535.4/600 分(来自与人类选手同条件的非官方测试),超过 361.12 的金牌线;IMO 2026 的 generate-verify-refine 系统由官方阅卷人评分,取得 30/42 分,超过 29 的金牌阈值。

    推荐理由:展示了 Nemotron 通过微调与推理协同在 IOI 与 IMO 同时达到金牌水平,并公开了完整数据集与训练配方。

  2. 量子位62

    OpenAI一夜放出722篇数学手稿,覆盖黎曼、霍奇、BSD等千禧难题

    OpenAI在GitHub公开722篇数学手稿并归为372组结果,均由一个未发布的内部模型按同一流程生成,平均每项消耗算力约相当于ChatGPT Pro思考3小时。

    推荐理由:原文呈现了OpenAI一次性放出722篇手稿的产出规模与数学家对其可验证性的担忧,读者可以据此了解AI数学产出与同行评议之间的速度落差。

10月6日周二
  1. Mistral AI74

    Mistral 推出 Mistral Large 4 公开预览版,1T 总参数原生多模态大模型

    Mistral 推出 1T 总参数、49B 激活参数的原生多模态大模型 Mistral Large 4 公开预览版,权重计划月底开源,API 已上线 Mistral Studio。

    推荐理由:Mistral 推出 1T 总参数、49B 激活参数的多模态大模型 ML4 公开预览版,并附带编码、Agent、网络安全、视觉理解与科学推理等多个基准的逐项对比数据与训练基础设施介绍。

  2. HF Daily Papers34

    FLaRe:Flow Matching 潜在推理的关键训练要素

    FLaRe(Flow-based Latent Reasoning)在学习潜在空间内用 flow matching 实现大语言模型潜在推理,覆盖潜在空间编码、流训练位置、答案读出和模型自身已验证思维再训练四个环节。该方法在有用性、多样性、可解释性、可精炼性、效率五个维度均优于既有潜在推理方法,并在算术基准上达到显式 CoT 97% 的准确率,延迟仅为其四分之一。

  3. HF Daily Papers60

    基础模型借鉴训练数据中的 token 线索即可获得推理能力

    该研究指出,在基础模型回复开头固定特定 token 线索,可使其在数学和编程推理任务上达到与 RL 训练版本相当的水平。回复前的 '. Okay' 线索将 Olmo-3-7B 的 MATH-500 pass@1 从 42% 提升至 78%,'Alright,' 线索将 Qwen3-14B 从 72% 提升至 87%。

    推荐理由:论文把基础模型的推理能力回溯到训练数据中的特定 token 线索,给出了一种不靠 RL 也能恢复推理表现的替代解释。

  4. HF Daily Papers41

    Naver AI 提出循环式投机解码方法 DLoop

    Naver AI 提出循环式投机解码方法 DLoop,在目标模型验证前自适应执行多轮草稿生成并一次性验证全部 token,减少目标模型前向传播次数。该方法在 EAGLE-3、DFlash、Domino、DSpark 及多 token 预测模块上将 wall-clock 加速提升 5%-41%,并保持无损解码;配套的循环感知训练让草稿模型在额外草稿阶段保持可靠。

    推荐理由:原文提出循环式投机解码策略,在验证前合并多轮草稿生成,可叠加在多种已有方案上额外提速 5%-41%。