跳到正文

技术方向

数据与训练 最新动态

大模型是怎么练出来的:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

259 条精选近 30 天 243 条共收录 295 条

更新

精选归档 · 第 3 页

10月29日周四第 41–60 条
  1. HF Daily Papers47

    规划与 UI 定位智能体通过在线稠密强化学习导航实际运行的 iOS 应用

    一项研究提出在线稠密强化学习框架,直接在实际运行的 iOS 应用上训练由规划智能体与 UI 定位模型组成的 UI 导航智能体。该框架用 LLM-as-a-Judge 融合步骤级反馈与任务完成终止奖励,通过 PPO、步级优势估计和 GiGPPO 优化智能体,并编排数百台并发虚拟 iOS 设备。

    推荐理由:论文将规划与 UI 定位拆成专用组件,并给出 GiGPPO 价值估计与多基准评测,便于对照在线强化学习的效果。

  2. HF Daily Papers71

    用 JEPA 证明并改进柏拉图表示假说

    论文用 JEPA 将柏拉图表示假说转化为定理,证明使用同一场景良好视图的不同模态模型可学到相差至多一次旋转的共享表示。研究把下一 token 预测视为使用不良视图的 JEPA,并以 145k 条 caption 到 940M 张网页图像文本的数据验证对齐缩放规律,良好视图达到同等对齐所需训练样本少 42 倍。

    推荐理由:论文将 PRH 转化为表示定理,并比较 JEPA 与下一 token 预测在跨模态对齐上的样本效率差异。

  3. HF Daily Papers70

    EmbeddingGemma 2 论文提出统一高效的多模态表征方案

    EmbeddingGemma 2 论文提出一个原生统一文本、图像、音频、视频及其组合表征的开源多模态嵌入模型。模型采用简化逐层嵌入与包含模态和目标递进的多阶段课程,并在覆盖各模态的综合嵌入基准中超过专用模型及规模大 2 至 12 倍的模型。设计支持选择性加载模态编码器、调整视觉 token 预算、截断嵌入维度和量化权重,论文地址为 https://arxiv.org/abs/2610.37364。

    推荐理由:论文在统一多模态表征之外,还报告了相对专用模型和规模大 2 至 12 倍模型的性能对比。

10月28日周三
  1. Hugging Face Blog80

    NVIDIA 发布 Nemotron 3.5 Transcribe 开放权重模型与 Granary v2 多语种数据管线

    NVIDIA 发布开放权重模型 Nemotron 3.5 Transcribe,并开放 Granary v2 多语种数据管线;前者集成 40 种语言转录、31 种语言与英语互译、说话人区分和英文音频问答。

    推荐理由:原文给出从提示词优化到数据构造、LoRA 微调、检查点选择和评测的完整医疗语音适配流程,可直接用于复现同类场景。

  2. TechCrunch75

    Nvidia 发布 Nemotron 3.5 Transcribe 开放权重语音转录模型

    Nvidia 发布开放权重转录模型 Nemotron 3.5 Transcribe,支持最多 40 种语言,并推出开源语音数据集 Granary v2。公司称,该模型可在英语与 31 种语言之间双向翻译,处理最长 1 小时录音、区分最多 8 位说话者,并在 Hugging Face Open ASR Leaderboard 等基准上超过竞争对手。

    推荐理由:开放权重与单芯片运行范围,结合语言支持、录音时长和基准信息,为会议及医疗转录场景的模型选型提供具体参考。

  3. MIT Technology Review46

    MIT Technology Review The Download:AI 实验室购买倒闭初创公司数据,评估跨物种通信进展

    MIT Technology Review 的 The Download 汇总了 AI 实验室购买倒闭初创公司数据以训练智能体,以及 AI 辅助研究动物通信的两项内容。

    推荐理由:文章呈现 AI 实验室从倒闭初创公司采购真实训练数据的路径,并指出相关交易带来的法律与伦理争议。

  4. HF Daily Papers54

    论文提出 EvidenceConnect,以合成证据连接数据提升 Zooming without Zooming v2 的多模态感知泛化能力

    论文提出 EvidenceConnect,通过同一图像相关区域的缩放视图合成问题,并用 RLVR 训练出 Zooming without Zooming v2(ZwZ2)。框架仅保留多个独立 VLM 达成一致的参考答案,并通过区域消融剔除移除相关区域后答案仍成立的问题。ZwZ2 改善了细粒度与空间感知,并在具身空间推理、多模态长上下文理解、多模态智能体任务和通用视觉推理上获得进一步提升。

    推荐理由:论文把证据连接抽象为可合成能力,并用独立 VLM 一致性与区域消融筛选训练数据,给出可复用的多模态训练流程。

  5. 36氪47

    豆包刘星否认横店项目将15万群演肖像和声音用于训练字节大模型

    豆包公关负责人刘星表示,横店与字节合作将15万名群演肖像和声音用于训练字节大模型的传言严重失实。横店影视 AI 服务平台希望建设公共数字基础设施,把影视基地实景等资产做成高质量数据集,帮助剧组选景、筹备和拍摄,并降低中小影视企业使用 AI 的门槛,火山引擎担任技术支持方。数据资产归横店或授权方所有,涉及肖像和声音均需本人授权,项目数据不会用于训练字节大模型。

    推荐理由:这段回应交代了横店影视 AI 服务平台的数据用途、资产归属与授权边界,为理解影视场景的数据基础设施提供具体背景。

  6. HF Daily Papers38

    PDRVLA:融合物理动力学表征的视觉语言动作模型

    PDRVLA 将轻量物理动态模块引入视觉语言动作模型,通过预测未来视觉特征改善机器人动作生成,并避免在线视频生成延迟。该模块直接预测未来的 RGB、深度和光流特征,并用冻结的预训练视频世界模型进行辅助监督。

    推荐理由:论文将轻量物理动态预测接入视觉语言动作模型,并通过消融实验分析世界模型监督、子任务条件化与 ECoT 训练对动作成功率的影响。

  7. HF Daily Papers40

    ThinkWorld 通过世界想象强化链式动力学推理

    ThinkWorld 提出 Vision-Language-Action(VLA)学习框架,将动作推理置于世界动力学中,并通过世界想象强化学习利用无动作标注的人类视频。

    推荐理由:ThinkWorld 用动作标注初始化 CoD,再以世界想象强化学习利用无动作标注的人类视频,为机器人跨本体迁移提供可复用方法。

  8. HF Daily Papers35

    LociArt 提出统一范式实现自由风格局部视频风格化

    LociArt 提出统一范式,通过生成式细化网络实现自由风格的局部视频风格化,并保持非目标内容与较强的时间一致性。GRNStyle 引入极坐标风格感知掩码及表示—几何条件控制,结合自动化数据管线构建包含 100K 个局部风格化配对的 LociArt-100K Dataset。

    推荐理由:LociArt 将区域风格控制、自动化配对数据构建与专用基准整合到统一框架,便于对照评估局部风格化质量、非目标保留和时序稳定性。

  9. Ars Technica · AI60

    Pinal 用自然语言设计蛋白质,Carbon X 实现 DNA 与英文互译

    研究团队推出 Pinal,用自然语言生成蛋白质设计;Hugging Face 等团队发布开放权重模型 Carbon X,可在本地运行并处理 DNA 与英文。Pinal 通过 T2struct 生成结构 token,再由 SAProt-T 补全氨基酸序列;在 GFP 类荧光蛋白测试中,50,000 个候选经筛选后有 29 个在 E. coli 中表达,最终仅 1 个成功发光。

    推荐理由:Pinal 与 Carbon X 展示了自然语言进入生物序列设计的不同路径,并用实验成功率、长序列定位和本地运行条件呈现落地限制。

  10. HF Daily Papers48

    WeVisCut:单智能体统筹从旁白到长视频的完整剪辑流程

    WeVisCut 研究提出一套脚本转长视频系统,用单一 9B 策略协调视频编辑工具、维护共享制作状态并恢复失败。四阶段数据管线结合编辑反演与验证回放,基于 3,750 个成片生成超过 130K 个训练样本,并提出 100 项任务和 5 项指标。

    推荐理由:该研究把长视频编辑决策、故障恢复与 token 成本纳入同一 9B 策略,呈现任务专用智能体在质量与效率上的取舍。

  11. HF Daily Papers42

    A-RSI:通过自适应任务刷新实现零数据多模态自我改进

    A-RSI 在学习信号下降时刷新训练任务,并用由程序生成且可独立验证的答案提升模型的递归自我改进效果。方法依据训练日志中的奖励波动与准确率更新任务池,不参考验证集或测试集成绩,也不使用外部训练样本或人工答案标签。在主要十一项基准测试套件中,加入 800 个新任务后,性能平均值从 57.77 提升至 61.05。

    推荐理由:论文将任务刷新与答案验证拆分,依据训练日志更新任务池,展示了无外部标签的多模态自我改进方法及基准结果。

  12. HF Daily Papers49

    IntReal 提出真实场景多模态交错生成数据集与评测基准

    IntReal 提出面向真实场景的多模态交错生成数据集与评测套件,用于诊断统一多模态模型的能力差异。IntReal-100K 覆盖四大类交错样本,IntReal Evaluation Suite 通过专家模型从七个维度进行粗到细评估。

    推荐理由:IntReal 以细粒度指标定位统一多模态模型在不同能力维度的强弱项,配套数据可用于针对性后训练与改进交错生成。

  13. HF Daily Papers54

    Soft-MTP 通过 KL 梯度恢复改进多 Token 预测

    Soft-MTP 通过 KL 梯度恢复移除多 Token 预测中的噪声残差,在不增加参数且无可测开销下改善困惑度、推测解码与推理表现。该方法支持 DeepSeek 和 Meta 风格的 MTP;在 167M 至 1.2B 参数规模上,相比标准 MTP 获得更低的 NTP 困惑度、更快的推测解码和更高的 zero-shot 准确率,1.2B 模型微调后的数学与代码推理也更强。

    推荐理由:论文将标准 MTP 梯度拆为 KL 自蒸馏信号与噪声残差,并给出兼容现有训练内核的一行代码改法,为多 Token 训练提供低开销路径。

  14. Hacker News83

    联邦法官裁定 Anthropic 使用逾10位斯坦福教授的盗版书籍训练 Claude,合法购书训练可构成合理使用

    联邦法官裁定 Anthropic 使用逾10位斯坦福教授的盗版书籍训练 Claude,合法购书训练 LLM 可构成合理使用。

    推荐理由:案件区分了盗版取书与合法购书训练的法律边界,并呈现 $1.5 billion 和解、作者另行起诉和强制许可三条路径。