技术方向
大模型是怎么练出来的：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
262 条精选近 30 天 246 条共收录 298 条
MT Forcing 提出一种基于自回归扩散的多轮图像编辑训练范式，面向统一多模态模型，结合单轮分布匹配蒸馏和教师强制引导。Single-Turn DMD 以单轮累积编辑教师指导学生自主生成，减少递归误差累积；Teacher-Forcing Guidance 在预热和蒸馏阶段约束依赖历史的转场，以保持跨轮内容一致。实验显示，该方法提升了视觉质量稳定性和跨轮一致性。
推荐理由：论文把多轮编辑中的质量退化与内容漂移拆成两类问题，并给出对应训练机制，便于理解统一多模态模型的稳定性改进路径。
研究提出 Deep Fusion Memory（DFM），用因果记忆预测器生成 chunk 级参数记忆，并通过门控交叉注意力将其融入大语言模型的中间隐藏状态。训练时以语料检索到的 chunk 嵌入作为监督，在冻结骨干的条件下端到端训练预测与融合，推理时无需显式检索，构建训练数据所需的检索查询量和条目量分别少 32 times 和 2048 times。
推荐理由：论文将参数记忆预测与门控交叉注意力融入模型中间层，并给出相对现有方法的训练数据构建成本和问答性能对比。
智谱推出法律专用开源模型 GLM-Legal，在 Vals AI 法律评测中以 19.2% 的任务全通过率和 86.23% 的准确率位列 Harvey LAB 与 LegalBench 双榜开放权重模型榜首。
推荐理由：给出了 GLM-Legal 在 Harvey LAB 等榜单上的通过率与和 Gemini 4 Argon 的成本对比，读者可据此评估法律垂直模型在真实律所任务中的取舍。
LayerEditor 将指令引导的图像编辑与可控的 RGBA 图层生成统一建模，在单一 token 序列中表示编辑画布和有序图层。其 In-Context RGB-Alpha Token Modeling 支持语义编辑与单图层内容控制，Compositional Edit-Prior Distortion 将编辑先验迁移到编辑画布及预测图层合成图像。
推荐理由：论文将指令图像编辑与可复用 RGBA 图层生成统一建模，并构建配对数据集和专项基准，便于对照分层编辑方案。
ECHO 将多时间跨度预测直接集成到模型主干，以因果自递归和动态深度采样替代辅助模块，分别改善预训练效率与推理草稿生成。其最终层预测所有跨度，DDS 以随深度衰减的概率选择训练深度，使预训练模型能够充当自身草稿器。论文称，相较于训练所有深度的 MTP，额外训练开销减半，且优势在 token 预算加倍、重复预训练和监督微调后仍存在。
推荐理由：论文将多步预测从辅助模块移入主干，并通过 DDS 控制深度成本，便于比较其与 MTP 的训练效率。
Meta 将于 10 月 30 日生效的新商业条款允许其使用爬虫等自动化工具访问与 Facebook、Instagram、WhatsApp、Messenger 企业账户关联的网站内容，用于「开发、改进、研究和训练」AI 产品。
推荐理由：报道将 Meta 新商业条款与既有付费授权并置，读者可据此判断这一变化将如何影响 AI 训练数据的获取方式与内容授权市场。
Data World 是一套多智能体数据合成引擎，先指定文件背后的世界机制再生成数据环境、任务与评分规则，用于训练模型的开放性分析能力。
推荐理由：给出了一套先描述世界机制再合成数据环境与任务的方法，使开放式分析题也能用 RL-zero 训练并通过审计评估。
论文提出 MRTPO，在多奖励强化学习训练中把每个奖励的优势仅分配给其验证器实际检查的相关 token，避免被均匀摊到整个回复上。该方法通过对每个奖励重放带和不带验证器信息的下一 token 分布，以 Jensen-Shannon 距离衡量 token 相关性，无需辅助模型或 token 级标注。
推荐理由：针对多奖励 RL 中优势被均匀分配到全序列的问题，给出可复用的 token 级 credit assignment 思路与实测任务。
MLExpert 是一个 35B 的 MoE 智能体模型，通过分层智能体 SFT 和 Windowed Interaction RL（WIRL）进行后训练，用于自主完成长链路机器学习工程工作流。
推荐理由：原文给出了分层 SFT 与 WIRL 后训练方法及在 MLE-Bench Lite 上的具体成绩，可作为评估自主机器学习工程智能体的参照。
Waypoint-OPD 通过门控教师早晚期策略变化的方向一致性来改进从强化学习教师到学生的策略迁移蒸馏，在数学和代码推理六个领域-学生设置上均取得最高领域平均分。该方法以 Qwen3-4B 为教师、Qwen3-8B/14B/30B-A3B 为学生，相比仅用端点策略变化只需额外一次冻结教师打分；消融显示移除或打乱门控会降低数学推理表现。论文地址：arxiv.org/abs/2610.21601。
推荐理由：原文提出按教师早晚期策略变化的方向一致性来门控策略迁移蒸馏，为相关蒸馏改进提供了一种可复用思路。
3DCodeVerse 是一个面向 3D 内容生成的研究生态，让编码智能体通过可执行代码产出可编辑且可验证的 3D 内容，包含大规模数据集、多智能体验证框架与系统实验。
推荐理由：把 3D 内容生成统一到可执行代码路径，并配套 2M 数据集与多智能体验证框架，为开放模型的 3D 编码能力提供了可复现的基线。
NVIDIA 与 IIT Madras AI4Bharat 联合发布约 2.8 万亿 token 的 Nemotron-pretraining-Indic-v1 印度语言预训练语料。
推荐理由：22 种印度语言共 2.8 万亿 token 的预训练数据与可复现的生成流水线一并开源，团队可在自有数据上沿用这套方法。
DiscoveryRSI 用多智能体进化搜索和递归学习生成可验证的科学假设,在生命科学四个领域将假设质量从 4.86 提升至 5.39。DiscoveryRSI-27B 在模型截止后新发表论文上的假设对应率为 6.3%,高于 GPT-6 的 2.5% 与 Claude Opus 5 的 2.3%。文章同时给出 DFM-Bench 多维度评估基准与项目主页。
推荐理由：原文用 DFM-Bench 把假设生成拆成可复测的多维度评分，并给出 DiscoveryRSI-27B 与 GPT-6、Claude Opus 5 的对照数据。
MTEdit 提出基于打包轨迹画布的多轮图像编辑数据集生成方法，包含 50 万条最多 8 轮、平均 5.38 轮的编辑轨迹，并同步推出 MTEdit-Bench 基准，用于评估指令遵循、内容一致性与视觉漂移等能力。
推荐理由：原文给出多轮图像编辑的数据集、基准与训练方法，对评估编辑模型的多轮一致性和视觉漂移有参考价值。
Scene-Designer 是一个面向自然语言到三维室内场景生成的智能体框架，通过设计与评价两类经验学习设计智能。
推荐理由：原文给出结合设计与评价经验的智能体框架以及 Critic-guided GRPO 训练方法，为三维场景生成中评价信号驱动强化学习提供可参考实现。
论文针对可验证指令跟随基准在强化学习中引发的奖励作弊问题，提出 CALIF 方法，将验证器奖励与基于冻结参考策略的校准似然奖励相加，无需额外评判器或学习得到的奖励模型。在 1.7B 到 8B 规模的推理与非推理模型上，CALIF 在 IFBench 上提升约束满足率并把响应质量维持在与 RL 前相当或更高的水平，在三个评分式指令跟随基准的 45 项模型-指标对比中有 40 项优于对应基座策略。
推荐理由：针对可验证指令跟随基准中的奖励作弊现象，给出一种在不引入额外奖励模型的前提下兼顾约束满足与响应质量的训练方法。
论文提出 τ-Emotion-Bench 基准与 Tracer 数据生成流水线，用于在情绪化用户交互下评估并提升 LLM 工具调用智能体的可靠性。该基准覆盖十个领域，实验显示前沿智能体在平均任务成功率与持续完成度之间仍存在显著差距；Tracer 生成的监督数据可稳定改进不同规模的模型，并可泛化到未见领域以及 τ-Bench 和 τ-Trait。项目页与代码已在 GitHub 开源。
推荐理由：τ-Emotion-Bench 与 Tracer 数据流水线为评估和提升工具调用智能体在情绪化用户交互下的可靠性提供了可迁移框架。
论文提出记忆巩固框架 Cortex，通过生成前瞻性查询把上下文条件输出蒸馏为低秩或结构化 FFN 更新，使大语言模型在不损失非目标能力的前提下把上下文增益内化为参数。
推荐理由：原文给出把上下文增益内化为参数的记忆巩固方法与连续编辑下的保留数据，读者可据此与现有模型编辑或蒸馏方案对比。
ActionOPD 提出面向智能体的动作级在线蒸馏方法，通过最大化学生在自身状态下的教师动作似然来对齐决策，不要求师生共享 tokenizer，也无需访问教师 token 概率。用两位教师在工具调用任务上训练 Qwen3-4B 和 Qwen3-8B，在四个分布外基准上平均提升 3.3-6.9 个百分点，并在 τ^2-bench 上与离线蒸馏及 token 级 OPD 表现相当。
推荐理由：用动作级对齐替代 token 级蒸馏，使师生不必共享 tokenizer，并通过 Qwen3 系列验证了方法在不同规模学生模型上的稳定收益。
Player-1 是一个用合成经验训练游戏智能体的后训练框架，在 Player-1-Gym 的 16 个 2D/3D 合成环境上以 PPO 进行强化学习。
推荐理由：原文给出合成环境后训练的具体流程与增益数据，展示了不依赖大规模演示也能提升游戏控制能力的方法路径。