跳到正文

技术方向

推理能力 最新动态

让大模型先想再答的能力:思维链、推理模型,数学与逻辑评测上的突破和争议。

214 条精选近 30 天 181 条共收录 261 条

更新

精选归档 · 第 7 页

10月17日周六第 121–140 条
  1. HF Daily Papers45

    ECHO 以因果自递归实现无辅助模块的多时间跨度预测

    ECHO 将多时间跨度预测直接集成到模型主干,以因果自递归和动态深度采样替代辅助模块,分别改善预训练效率与推理草稿生成。其最终层预测所有跨度,DDS 以随深度衰减的概率选择训练深度,使预训练模型能够充当自身草稿器。论文称,相较于训练所有深度的 MTP,额外训练开销减半,且优势在 token 预算加倍、重复预训练和监督微调后仍存在。

    推荐理由:论文将多步预测从辅助模块移入主干,并通过 DDS 控制深度成本,便于比较其与 MTP 的训练效率。

  2. TechCrunch · AI42

    Elorian 推出首个模型 Glimpse,主打在推理过程中直接操作图像

    Elorian 发布首个模型 Glimpse,主打在推理过程中持续回到图像本身做裁切、取帧和执行代码,官方称这一机制为视觉草稿空间。该模型作为研究预览开放 API,聊天界面需申请使用,按官方评测在科学图表推理和短视频描述上结果优于 GPT-6 Astra,输入价格 $0.60/M tokens、输出 $3/M tokens。

    推荐理由:原文给出 Glimpse 的视觉草稿空间机制以及与 GPT-6 Astra 等模型的对比数据,便于理解视觉推理与传统多模态模型的差别。

10月16日周五
  1. HF Daily Papers40

    MJev-Spatial 基于 Qwen3.5-4B 把空间推理统一为分类任务,推理速度达自回归基线 5.6 倍

    MJev-Spatial 把三类空间推理任务统一为单次前向分类,免去自回归解码生成的答案 token。它基于 Qwen3.5-4B、用 1230 万问答对训练,整体得分 65.64%,在 12 项基准中拿下 7 项第一,推理速度达自回归基线的 5.6 倍。

    推荐理由:把空间推理统一为单次前向分类,免去答案 token 的解码开销,在 12 项基准中拿下 7 项第一,可作为高效多模态推理的参考方案。

  2. HF Daily Papers46

    MLExpert:面向自主机器学习工程流程的 35B MoE 智能体模型

    MLExpert 是一个 35B 的 MoE 智能体模型,通过分层智能体 SFT 和 Windowed Interaction RL(WIRL)进行后训练,用于自主完成长链路机器学习工程工作流。

    推荐理由:原文给出了分层 SFT 与 WIRL 后训练方法及在 MLE-Bench Lite 上的具体成绩,可作为评估自主机器学习工程智能体的参照。

  3. HF Daily Papers35

    Waypoint-OPD:通过门控的 On-Policy 蒸馏迁移强化学习引起的策略变化

    Waypoint-OPD 通过门控教师早晚期策略变化的方向一致性来改进从强化学习教师到学生的策略迁移蒸馏,在数学和代码推理六个领域-学生设置上均取得最高领域平均分。该方法以 Qwen3-4B 为教师、Qwen3-8B/14B/30B-A3B 为学生,相比仅用端点策略变化只需额外一次冻结教师打分;消融显示移除或打乱门控会降低数学推理表现。论文地址:arxiv.org/abs/2610.21601。

    推荐理由:原文提出按教师早晚期策略变化的方向一致性来门控策略迁移蒸馏,为相关蒸馏改进提供了一种可复用思路。

  4. HF Daily Papers43

    循环语言模型设计三轴拆解(拓扑、输入注入与循环状态)

    在 730M 参数、336B token 训练预算下,Huginn 循环语言模型架构在全部十个基准上优于 Ouro;这一优势可迁移到 8BA0.8B(展开 32BA3B)的 MoE 设置,仍在知识、推理与编码基准上几乎全面领先。

    推荐理由:论文按拓扑、输入注入与循环状态三条设计轴拆解循环语言模型,在 730M 与 MoE 两组设置下对比 Huginn 与 Ouro 的实际表现,并给出可迁移的设计取舍。

  5. HF Daily Papers40

    DLite:面向智能体 AI 的无历史投机解码方法

    DLite 提出一种面向智能体 AI 的无历史投机解码框架,在通用、长上下文和智能体工作负载下达到 2–6 的接受长度,相对 DSpark 最高提升 70%。该方法直接复用目标模型的上下文隐藏状态进行局部投机预测,配合轻量级序列头恢复块内因果依赖,并采用专门的两阶段训练策略;原文同时指出智能体负载下现有 draft 模型接受长度最高下降 80%。

    推荐理由:原文给出在智能体长上下文场景下 speculative decoding 的实测对比与训练策略,读者可据此评估相对 DSpark 的收益。

  6. The Decoder65

    GPT-6-Astra 在 TheoPhysEval 50 题中解出 49 题,每题均价 2.4 美元

    GPT-6-Astra 在 OpenAI Codex 环境中跑 TheoPhysEval 基准,50 道题解对 49 道,准确率 98%,平均每题不到 3 美元、整轮约 116 美元。

    推荐理由:这份基准在同一组 50 道理论物理任务上对齐了主流智能体的准确率与单位成本,读者可据此评估现有模型承接科研常规计算的实用边界。

10月15日周四
  1. HF Daily Papers43

    CALIF:诊断并修正可验证指令跟随中的奖励作弊

    论文针对可验证指令跟随基准在强化学习中引发的奖励作弊问题,提出 CALIF 方法,将验证器奖励与基于冻结参考策略的校准似然奖励相加,无需额外评判器或学习得到的奖励模型。在 1.7B 到 8B 规模的推理与非推理模型上,CALIF 在 IFBench 上提升约束满足率并把响应质量维持在与 RL 前相当或更高的水平,在三个评分式指令跟随基准的 45 项模型-指标对比中有 40 项优于对应基座策略。

    推荐理由:针对可验证指令跟随基准中的奖励作弊现象,给出一种在不引入额外奖励模型的前提下兼顾约束满足与响应质量的训练方法。

  2. HF Daily Papers39

    RuleTrek:复杂场景下智能体规则推理基准

    RuleTrek 是面向复杂场景下智能体规则推理的多领域基准,评估大语言模型在规则识别、规则推导和端到端推理三项能力上的表现。其构建流程从材料中提取结构化规则图,并增量组合规则子场景以保证一致性与可解性。

    推荐理由:给出了11个前沿大语言模型在规则识别、推导和端到端推理上的具体分数,可用作当前水平的参考。

  3. HF Daily Papers40

    CriticOPD:用批评引导的 On-Policy 蒸馏恢复可靠监督

    CriticOPD 提出一种批评引导的 On-Policy 蒸馏方法,让教师用参考答案批评学生错误续写,学生据此重写后续内容,再由教师对重写后的后缀打分而学生不直接看到反馈。该方法在六个数学推理基准上比 OPD 平均准确率提升 4.57 个百分点(Qwen3-1.7B)和 4.06 个百分点(Qwen3-0.6B),竞赛题上增益最大。

    推荐理由:原文指出 on-policy 蒸馏中教师跟随学生错误解的机制问题,并给出可复现的批评改写流程与基准提升幅度。

  4. HF Daily Papers52

    先考虑后取消:思考如何让推理模型按逻辑字面理解 some 和 or

    延长推理模型的思考时间,会让多数受测的开放推理模型以及 GPT-5 按逻辑字面理解 some(并非所有)与 or(并非两者),取消相关语用推断。研究固定模型权重,只改变思考时长,并在多个阶段截取推理轨迹,以定位解释变化。轨迹显示模型先考虑扩展解释再将其取消;从早期推理阶段作答这一探索性方法可恢复相关语用推断,且不损失字面准确率,间接回答等语境推断也有所改善。

    推荐理由:论文固定模型权重并改变思考时长,再分阶段截取推理轨迹,拆解模型处理日常语用推断的机制,便于理解推理深度与语义解释之间的关系。

  5. HF Daily Papers38

    ACT3D:通过强化学习让视觉语言模型在 3D 环境中学会思考与主动探索

    ACT3D 通过强化学习训练视觉语言模型从单张第一人称视角主动探索 3D 环境,以最终答案正确性作为奖励信号,无需对探索路径做直接监督。在六个 3D 基准上平均准确率达 53.2%,相对基座 Qwen 模型提升 22.0%、超过 Gemini 3.6 Flash,输入帧数比现有开源 3D 方法少 50-70%,并在未见过的领域平均提升 5.9%。

    推荐理由:原文给出基于结果奖励的强化学习方法,让 VLM 学会在 3D 环境中自适应探索,可作为视觉问答主动感知范式的参考。

  6. HF Daily Papers47

    Event-STVG:面向长视频事件推理的时空视频定位基准

    Event-STVG 提出长视频事件推理的时空视频定位任务与大规模基准,将重复事件区分、事件定位、角色推断和多目标定位纳入统一评测。基准覆盖足球及另外7个领域,共标注4,016次事件出现;最强模型在10分钟跨度上的 m-vIoU 仅为5.4%,并持续混淆重复同类事件。代码与标注地址为 https://github.com/THU-KEG/Event-STVG。

    推荐理由:基准将重复事件区分、角色推断和多目标时空定位放在同一任务中,便于比较 MLLM 在长视频事件理解上的细粒度能力差异。

  7. 面壁 MiniCPM39

    面壁 MiniCPM 开源 MiniCPM-V-4.7-35B-A3B 的 DSpark 投机解码草案模型

    面壁 MiniCPM 在 Hugging Face 开源 MiniCPM-V-4.7-35B-A3B-DSpark,这是专为 MiniCPM-V-4.7-35B-A3B 配对的 DSpark 投机解码草案模型,含 5 层约 3.89 亿参数,单次前向生成 15 个 token,使用 200 万样本训练 6 轮 AdamW。

    推荐理由:DSpark 草案模型的训练配方与 vLLM、llama.cpp 的投机解码接入示例都在原文给出,为 MiniCPM-V-4.7 的推理加速提供了一个现成方案。

  8. The Decoder62

    OpenAI 据报道将在年内推出至少一款新模型,旗舰模型仍需完成对齐工作

    OpenAI 据 The Information 报道将在年底前推出「一两款新模型」,但下一代旗舰模型因对齐工作和测试基础设施尚未完成而可能延期。该旗舰采用与 Astra 相同的 looped transformer 架构,对同一 Transformer 层多次循环以提升数学和编码性能,但部分推理会进入不可读的内部数值表示,削弱链式推理监控。

    推荐理由:原文披露了 looped transformer 在性能提升与可监控性之间的权衡,以及 OpenAI 内部对齐算力规模的实际数据,可作为评估新一代模型安全边界的参考。