跳到正文

技术方向

数据与训练 最新动态

大模型是怎么练出来的:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

261 条精选近 30 天 245 条共收录 297 条

更新

精选归档 · 第 12 页

10月12日周一第 221–240 条
  1. HF Daily Papers36

    LongR:通过密集效用奖励强化学习提升长上下文推理能力

    LongR 是一个通过强化学习提升大语言模型长上下文推理能力的统一框架,将「思考-阅读」机制与基于相对信息增益的上下文密度奖励相结合,无需证据标注即可量化相关文档的效用。

    推荐理由:原文提出了基于相对信息增益的密度奖励设计,并在多套长上下文基准上给出可复用的提升幅度,为长上下文强化学习的奖励工程提供了一种具体方案。

10月10日周六
  1. Latent Space60

    Standard Bots 如何用工业机器人 AI 实现可靠执行

    Standard Bots 通过共享基础模型、演示与微调适配任务,并在工厂本地运行推理,构建面向工业机器人可靠执行的 AI 技术栈。在机器上下料中,zero-shot 感知系统负责定位和识别零件,常规编程负责运动与单元逻辑,其骨干模型训练使用了超过 10 亿张图像。公司强调定向数据与部署中的人工纠正,并以边缘 GPU 生成 action chunks 送入底层控制系统,降低对云端连接的依赖。

    推荐理由:Standard Bots 的案例拆解了定向数据、边缘推理和软硬件协同如何支撑可靠执行,并指出这些方法也可迁移到软件智能体。

  2. HF Daily Papers43

    Vela:用真实用户行为作监督信号微调大语言模型

    Vela 把 10 万用户的匿名行为记录转换为约 7.5 万条训练任务,用于微调大语言模型。在千问 Qwen3.6-35B-A3B 上微调后,用户相关任务最高提升 11.5 分,通用基准平均提升约 4 分;先微调再做强化学习,比直接从基模型做强化学习最高再提升 7.7 分。

    推荐理由:原文给出从用户行为到训练数据的具体流程与提升数字,可作为构建用户感知能力的参考。

10月9日周五
  1. HF Daily Papers43

    MiMo-V2.6:扩展强化学习算力推动模型自我提升

    MiMo-V2.6 是一个面向自我提升的全模态模型系列,沿三条维度扩展强化学习算力:在最长 1M 上下文下,每步处理 1,568 样本、2.7-3.7B token 的异步训练;覆盖代码、通用、视觉和赛博领域的智能体环境;以及通过分组智能体评分提供更长链任务奖励信号。为稳定训练,论文还冻结 MoE 路由器并建立多层防奖励作弊机制,并开源训练动态、RL 环境和 RL 框架。

    推荐理由:报告给出了训练算力、采样与环境三维度扩展的具体数字与稳定策略,并开源训练动态与框架,可作为大规模 RL 训练的参考路径。

  2. 钛媒体49

    日薪120元,我给机器人当“老师”,具身智能数据采集员群像实录

    钛媒体《定焦One》采访的五位具身智能数据采集员讲述了他们用VR头显遥操作、UMI夹爪或第一视角相机演示家务动作的工作实况,日薪多在100至150元。任务覆盖叠衣服、铺床、洗碗、贴快递标签等场景,每天有效时长需达3至4小时;多数受访者把这份工作视为过渡,团队负责人则看重沟通能力和学习速度。

    推荐理由:通过五位数据采集员的一手讲述,呈现具身智能训练数据背后的真实劳动场景、设备类型与薪资区间。

  3. 钛媒体51

    卖机器人"皮肤"之外,触觉厂商还想卖数据和模型

    触觉厂商在IROS 2026上集中发布新品,将生意从机器人"皮肤"延伸至零部件、数采工具、数据和模型四类预算。戴盟推出Daimon-TWM触觉锚定世界模型,Daimon-Infinity公开1000小时多模态数据并与卓世科技签署1亿条训练数据合作,魔搭累计下载超918万;帕西尼将触觉数据按5至9元挂上商城。

    推荐理由:把触觉厂商的生意拆成硬件、数采、数据和模型四类预算,帮助读者判断哪一环已有可验证收入、哪一环仍停留在样品阶段。

  4. HF Daily Papers39

    TerminalHorizon:面向长程终端智能体的数据合成引擎与监督微调

    TerminalHorizon 是一个面向长程终端智能体的全自动数据合成引擎,通过独立执行识别真实职业任务中被省略的关键工作,并以证据引导环境重构、围绕同一目标逐步扩展任务序列。

    推荐理由:原论文给出从数据合成到微调训练的完整方法与多基准结果,读者可直接对照自己的智能体训练管线和数据构造思路。

  5. HF Daily Papers36

    MSAR:面向多视角的多流注意力残差架构

    论文提出 Multi-Stream Attention Residuals(MSAR),将 Attention Residuals 沿深度轴的单流 softmax 注意力推广为多流多尺度结构,通过多尺度因果卷积为不同注意力头提供不同上下文视图,再经轻量自适应混合生成层输入,无需持久多流存储或通信。

    推荐理由:原文给出 MSAR 在 18B 与 28B MoE 规模下相对 AttnRes、mHC 的加速对比,可作为残差结构选型的参照。

  6. HF Daily Papers38

    On-Policy 蒸馏中相对策略差异迁移的重新审视

    一篇论文研究 On-Policy 蒸馏(OPD)中相对策略差异的迁移条件,提出以代理 expert 与参考策略之间的对数概率比作为 KL 正则策略优化的隐式奖励,可实现跨规模、跨训练阶段、跨生成方式的任意对任意迁移。

    推荐理由:论文给出了哪些相对策略差异能有效迁移到目标策略的判定条件,对做 On-Policy 蒸馏的读者具有直接参考价值。

  7. HF Daily Papers36

    SynthSelf:通过合成自蒸馏实现小模型的持续后训练

    论文提出 SynthSelf 方法,利用同族稍大的对齐模型为小模型生成 in-distribution 监督信号,配合 off-policy 监督与拒绝采样,缓解持续后训练中能力获取与遗忘的矛盾。在 4 个获取数据集、14 个保留基准与 3 个小模型规模上均优于 6 种基线方法。

    推荐理由:针对小模型持续后训练的能力获取与遗忘权衡,给出可由同族稍大模型蒸馏出的 in-distribution 监督方案,并把方法在多基准、多模型规模上做了对照。

  8. HF Daily Papers37

    ClawLoop:面向沙箱环境智能体的自改进训练框架

    ClawLoop 提出一种让大语言模型智能体在沙箱工作空间中自改进的训练框架,不依赖外部教师模型。该框架由任务合成、SFT/RL 训练和诊断反馈三阶段组成循环。

    推荐理由:提出不依赖外部教师的智能体自改进训练框架,在多个评测基准上取得稳定提升,并验证了合成任务可迁移到更小模型。

  9. HF Daily Papers39

    研究称 Qwen3 模型的强化学习增益主要来自思考泄漏而非新推理能力

    针对 Qwen3 系列模型(1.7B–8B)以 NO-THINK 模式训练并施加强化学习的研究发现,RL 带来的精度提升主要来自思考泄漏,NO-THINK 模型逐渐表现出原本 THINK 模式的行为。

    推荐理由:论文通过权重、激活和注意力头干预给出因果证据,提示读者重新评估强化学习对推理能力的实际增益来源。

  10. HF Daily Papers35

    Work2Skill:面向可复用 GUI 智能体技能提取的框架与 WorkDemo-350 数据集

    本文提出 Work2Skill 框架,通过 WorkRecorder 采集人类屏幕录制与键鼠操作,并基于 350 条多模态示范构建 WorkDemo-350 数据集,用于抽取可复用智能体技能。

    推荐理由:论文给出了框架、数据集和开源代码,并在 MyPCBench 与 OSWorld-Verified 上汇报了具体分数提升,读者可以据此复现并对比现有 GUI 智能体技能提取方法。

  11. The Verge · AI57

    USA Today 等多家报纸起诉 OpenAI,索赔逾 2.5 亿美元

    USA Today 及旗下多家地方报纸起诉 OpenAI,指控其未经授权复制"数十万篇"文章用于训练 AI 模型,索赔金额超过 2.5 亿美元。诉状称 OpenAI 的商业成功建立在"大规模版权侵权"之上,把受版权保护的内容用于构建价值数千亿美元的产品。

    推荐理由:原文给出诉讼主体、索赔金额和核心指控,可以帮助读者理清近期出版商与模型公司在训练数据使用上的分歧脉络。

10月8日周四
  1. HF Daily Papers43

    何时需要 On-Policy 蒸馏?论文称离线学生轨迹蒸馏在多数情况下更优

    研究提出 Semi-OPD 方法,用学生模型初始版本的离线 rollout 蒸馏教师能力,在 17 组 1.5B–235B 参数规模的师生配对中 14 组优于传统 On-Policy Distillation,精度最高提升 13.6 个百分点,训练加速 11.4 倍。

    推荐理由:论文用 17 组师生配对量化对比 OPD 与 Semi-蒸馏,给出按初始 token 重叠率选择蒸馏策略的依据,可直接用于重新评估既有蒸馏方案。

  2. HF Daily Papers39

    论文提出面向大语言模型的通用文本化教学 UTT 框架

    论文提出面向大语言模型的通用文本化教学(UTT)框架,无需更新学生模型参数,通过 Student、Prompter、Teacher、Synthesizer 多角色配对评估与迭代合成,把师生差距蒸馏成可解释、可跨模型复用的自然语言文本 Primer。

    推荐理由:提出无参数更新的知识蒸馏框架 UTT,把师生差距压缩成可跨学生模型复用的自然语言教学文本 Primer,为知识蒸馏提供新的可迁移载体。

  3. Hacker News32

    AI 公司 HUMXN 在明尼苏达推出免费水管和暖通服务以训练机器人

    HUMXN 宣布在美国 Minneapolis、Chicago、Miami 三地推出一项免费家居维修服务计划,由公司补贴合格的水电、HVAC、通风管道清洁和地毯清洁上门订单,条件是技术工人在正常作业时佩戴采集设备记录真实操作过程,相关数据将转化为 AI 和机器人训练数据集。

    推荐理由:原文把上门维修变成机器人训练数据的采集场景,给出了三方分润和穿戴采集的具体做法,可作为物理 AI 数据来源的一种参考样本。

10月7日周三
  1. Hugging Face Blog64

    NVIDIA 通过微调 Nemotron 在 IOI 和 IMO 同时达到金牌水平

    Nemotron-3-Ultra-CC 在 IOI 2026 拿到 535.4/600 分(来自与人类选手同条件的非官方测试),超过 361.12 的金牌线;IMO 2026 的 generate-verify-refine 系统由官方阅卷人评分,取得 30/42 分,超过 29 的金牌阈值。

    推荐理由:展示了 Nemotron 通过微调与推理协同在 IOI 与 IMO 同时达到金牌水平,并公开了完整数据集与训练配方。

  2. HF Daily Papers41

    MIMESIS:面向交互式智能体训练的用户模拟器学习方法

    MIMESIS 论文提出一个面向交互式智能体训练的用户模拟器,其 9B 模型在 SOUL-Index 上达到 65.7,超过当时最强的前沿模型。相比 Claude-Opus-5,行为保真度提升 13.4 分,图灵距离降低 3.6 分。

    推荐理由:原文给出面向交互式智能体训练的用户模拟器构建方法与自蒸馏反馈方案,可作为搭建训练环境和密集反馈机制的参考。