FORK 奖励以精确率目标缓解基于评分标准的强化学习奖励投机
FORK 奖励联合优化基于评分标准的强化学习中的召回率与精确率，在相近评分覆盖下缩短回答并提高相对基础策略的胜率。精确率目标通过评分标准驱动的必要性信用和事实正确性评分器，要求回答的每个单元既必要又事实正确。
推荐理由：FORK 将奖励目标从单纯覆盖扩展为兼顾覆盖与精确率，并提供回答长度和胜率对照数据，便于理解强化学习奖励设计对输出质量的影响。
技术方向
数据与训练 最新动态
大模型是怎么练出来的：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
262 条精选近 30 天 246 条共收录 298 条
更新
精选归档 · 第 6 页
HF Daily Papers精选AI 评分4646 HF Daily Papers精选AI 评分5656 Qwen-Image-PE：通过两阶段训练学习文本生成图像提示增强的视觉设计
Qwen-Image-PE 通过两阶段训练学习视觉设计，把欠明确的用户请求增强为连贯的文本生成图像视觉规格。训练采用 Caption-Based Reverse Distillation（CRD）和 Groupwise Design Reward（GDR），后者联合比较同一请求的候选图像，优化光照、构图、布局与细节。
推荐理由：论文通过两阶段训练把视觉设计纳入提示词增强，并以基准结果和跨骨干泛化实验展示效果，为相关方法研究提供清晰参照。
HF Daily Papers精选AI 评分6969 RSI Arena：利用人类反馈研究 AI 智能体的递归自我改进
RSI Arena 通过两阶段实验显示，10 个前沿模型智能体可利用人类反馈独立训练并迭代改进语言模型。
推荐理由：论文提供可审计的两阶段实验框架，比较人类反馈驱动后训练带来的偏好提升、有限基准收益与有害服从风险。
HF Daily Papers精选AI 评分6262 AutoTavern：自我改进的 LLM 研究智能体构建出匹敌顶尖玩家的 Hearthstone Battlegrounds AI
AutoTavern 的自我改进 LLM 研究智能体在 20 天内构建了 Hearthstone Battlegrounds 模拟器 TavernGym，并训练出可独立完成实战的 TavernAgent。
推荐理由：论文把研究智能体接入模拟器构建、对手校准和策略训练闭环，并计划开源评测任务与模拟器，为复现实验和比较系统能力提供基础。
HF Daily Papers精选AI 评分4949 PatEx-Gym：面向专利审查新颖性评估的智能体在先技术检索框架
PatEx-Gym 提出用于专利审查的智能体框架，整合基准、合成轨迹数据与紧凑型智能体，支持迭代式在先技术检索和新颖性评估。PatEx-Bench 包含 1K 项逼真的审查任务，以及由超过 1M 件专利和 52K 篇科学论文组成的检索语料；PASS 框架生成 PatEx-SynData，并通过监督微调训练 4B 规模的 PatEx-Agent。
推荐理由：论文将专利审查拆分为迭代检索、证据检查与新颖性评估，并用 1K 任务和合成轨迹训练 4B 智能体，提供了与更大通用智能体对照的轻量基线。
Hacker News精选AI 评分4949 Drop7 自主策略搜索研究：depth-4 查找表候选平均 516,155 分
Drop7 自主策略搜索研究系统比较了 14 类构建 AI 玩家的方法，当前最强候选是在 depth-4 搜索中使用学习式查找表，在 512 局从未见过的游戏上平均获得 516,155 分，同一搜索的手写叶节点为 382,567 分。
推荐理由：研究用配对实验、bootstrap 下界和预注册门槛比较搜索深度与学习式评估器，并公开实验档案，为同类策略搜索提供可复现的方法参考。
AWS Machine Learning Blog精选AI 评分7474 Amazon SageMaker AI 多轮强化学习 Wordle 实操指南
AWS 通过 Wordle 示例，演示了在 Amazon SageMaker AI 上端到端训练多轮强化学习模型的完整流程。流程涵盖 AgentCore 智能体与奖励函数部署、数据集准备、使用 GRPO 更新 LoRA 适配器、MLflow 监控及部署设置下的评测。
推荐理由：文章从 IAM 角色配置、AgentCore 智能体部署、数据准备到训练监控和部署设置评测，完整拆解多轮强化学习的落地流程与常见故障。
The Verge · AI精选AI 评分6464 Meta 因出版商反对 AI 抓取而将新商业条款推迟至 11 月 20 日
Meta 因全球出版商反对其可能允许抓取新闻网站用于 AI 训练的新商业条款，将生效时间从 10 月 30 日推迟至 11 月 20 日。Meta 称延期是为了解释变化内容，并强调内容所有者仍可通过 robots.txt 表达抓取偏好。尽管 Meta 删除了涉及训练其产品的措辞，法律专家认为仍不能排除这种可能，欧盟和英国的广告商与出版商此前要求监管机构叫停新条款。
推荐理由：延期回应了出版商对 AI 训练抓取的担忧，也为 Meta 继续解释抓取规则及 robots.txt 偏好机制留出时间。
HF Daily Papers精选AI 评分3636 Cola2：通过连续语义压缩与平衡的离散生成实现协同自适应分层语言建模
Cola2 提出一种联合优化连续语义压缩、重建生成平衡和编码器解码器协同适应的分层语言生成框架。它通过动态 span segmentation、masked diffusion decoding 和 Flow Matching priors 学习紧凑的预测性潜表示，并在推理时按固定 span 布局重新编码生成文本。
推荐理由：论文报告多任务实验中的扩展趋势，并比较未收敛检查点的任务表现与预训练预算差异，为分层语言生成提供可核对的实验参照。
36氪精选AI 评分3737 安顿白伟民在2026可持续全球领导者大会谈健康数据的采集与验证
安顿健康科技创始人白伟民在2026可持续全球领导者大会介绍了中医机器人健康数据的采集、标注与验证路径。项目投入1.3亿元，研发约两年半，采集300多家医院的数据，由500多名中医师参与标注；安顿目前已采集20多万人的数据，并结合50多万份医案开展分析和训练。中医机器人已通过中国信通院泰尔实验室的58项测试验证，后续还需开展人机交互及不同场景下的实验。
推荐理由：以20多万人数据、500多名中医师标注和58项测试为线索，呈现健康垂直模型从现场采集、专业标注到测试验证的具体流程。
钛媒体精选AI 评分6464 对话Epic Games创始人：Tim Sweeney称AI游戏开发时机已到
Epic Games创始人兼CEO Tim Sweeney在Unreal Fest上海表示，Epic从今年1月AI辅助开发效果不佳，转为积极推动内部开发流程采用AI。
推荐理由：访谈给出Epic内部开发效率变化和世界模型与传统3D方案的成本对比，为理解游戏开发的AI转型提供具体参照。
HF Daily Papers精选AI 评分3636 论文提出 FAPL，利用 MLLM 潜变量实现电影化视频的稀疏推理与因子控制
论文提出因子感知预测学习 FAPL，通过分阶段训练让视频 DiT 更有效地利用 MLLM 潜变量，支持稀疏时间推理与因子感知的电影化控制。训练先以冻结的 MLLM 和连接器强化 DiT 的潜变量利用，再通过 factor-span replacement 学习目标因子改变与非目标保持，最后冻结 DiT 并优化 MLLM 和连接器，兼顾有限输入表示学习与完整观察重建。
推荐理由：论文将 MLLM 潜变量利用、稀疏推理和因子控制放进同一分阶段训练框架，便于理解多模态表征如何用于电影化视频生成。
钛媒体精选AI 评分7777 Gemini 4 Argon上线72小时 Token用量约为 Gemini 3.0的3倍，Google CEO解释未发布 Gemini 3.5 Pro的原因
Google CEO 桑达尔·皮查伊披露，Gemini 4 Argon发布后前72小时处理约25万亿个 Token，约为 Gemini 3.0版本的3倍。他称，团队因Argon预训练已完成且Gemini 3.5 Pro生命周期会很短，决定将3.5至3.8 Flash积累的技术用于Argon后训练；发布初期仍受算力限制，Google正在开发更高效的知识蒸馏版本。
推荐理由：访谈串起Gemini 3.5 Pro的取舍、Argon研发方向与算力限制，呈现模型迭代节奏和基础设施投入之间的联动。
HF Daily Papers精选AI 评分3636 OPST 论文提出大语言模型无人工问答数据的自我训练框架
研究提出 On-Policy Self-Training（OPST），让大语言模型仅凭粗粒度主题描述生成问题、答案和特权推理示范，在不依赖人工编写问答的情况下实现自我改进。伪验证过滤器只保留模型能在新上下文和改写问题中复现答案的题目。实验覆盖域内自我改进、域外知识保持和 Visual OPST 多模态迁移，结果显示其提升语言与多模态推理，并优于其他训练策略。
推荐理由：论文把自蒸馏改写为自训练框架，并用可复现性过滤自生成题目，为无人工问答的模型自我改进提供了具体路径。
HF Daily Papers精选AI 评分5050 多模态大语言模型跨模态共享检索头机制研究
这项研究考察多模态大语言模型的检索头是否会随输入模态增加而扩展，并用音频与画面呈现相同答案的配对输入进行验证。在18个语言、视觉语言和全模态检查点上，全模态模型基本保留骨干模型的检索头，消融这些头几乎消除全部音视频检索。
推荐理由：论文把跨模态共享的检索头转化为优化目标，并报告该方法在三个模型家族上改善文档检索，为改进多模态检索提供了一种方法。
HF Daily Papers精选AI 评分4141 WorldCast：支持大角度镜头控制的世界一致角色视频生成
WorldCast 结合 3D 点云引导与 GAMA，在大角度相机运动下准确跟随轨迹并生成几何、外观和身份一致的角色视频。GAMA 根据初始帧与多视角角色锚点估计的相对相机位姿，检索并注入视角相关角色特征。论文还发布 CLACT 大规模角色中心数据集与基准，提供准确相机几何、多视角角色观测及大角度轨迹，用于训练和评估。
推荐理由：论文同时提供大规模数据集、基准和生成框架，覆盖大角度轨迹、几何一致性与身份保持，便于开展系统评估。
HF Daily Papers精选AI 评分4747 DiscoDemo：用强化学习发现多样化机器人示范以改进模仿学习
DiscoDemo 用强化学习生成多样化且成功的机器人操作轨迹，并导出为静态数据集，用于训练更稳健的视觉运动模仿策略。其潜在条件 RL 生成器结合并行反向课程和成功门控多样性目标；在 4 项操作任务中，下游策略平均成功率在仿真中从最强基线的 40% 提升至 62%，在真实机器人上从 39% 提升至 78%。
推荐理由：论文将强化学习用作机器人示范数据生成器，并在仿真与真实机器人上对比轨迹多样性对下游模仿策略的影响。
AWS Machine Learning Blog精选AI 评分7676 Amazon SageMaker AI 推出训练会话 API，支持自定义训练循环且无需管理 GPU
Amazon SageMaker AI 推出训练会话 API，让用户从本地 Python 进程编写 SFT、偏好优化或 RL 训练循环，同时由服务托管 GPU 及相关基础设施。
推荐理由：文章对比训练会话 API 与其他 SageMaker 定制方式，并拆解三类 SDK 客户端和 RL 循环，便于判断其控制权与运维边界。
HF Daily Papers精选AI 评分4646 AW-0 智能体世界动作模型框架联合建模代码、视频与机器人动作
AW-0 提出智能体世界动作模型框架，将基于代码的规划与未来视频和机器人动作作为三类耦合生成流统一建模。其混合 Transformer 架构由代码专家生成参数化技能程序和控制逻辑，视频与动作专家生成未来视觉状态及低层电机指令；自动整理流程还会用对齐程序标注机器人与人类视频轨迹，并将重复流程汇入技能库。
推荐理由：论文将代码规划、未来视频与机器人动作纳入同一生成架构，并报告任务表现相较 VLA 和 WAM 基线有所改善。
Hugging Face Blog精选AI 评分7171 OlmoEarth v1.3 发布全球卫星嵌入模型、预计算数据与探索工具
OlmoEarth v1.3 发布卫星嵌入模型及全球年度预计算数据，为全球每个 10m 像素提供 64 或 128 维嵌入，并上线 OlmoEarth Embeddings Explorer。
推荐理由：模型不仅开放权重、数据和代码，还提供全球预计算嵌入与浏览器工具，读者可据此评估低算力遥感制图工作流。