NVIDIA Cosmos 平台新增世界模型训练、评估与部署工具
NVIDIA Cosmos 平台新增训练工具、仿真检查点和 Cosmos Data Factory 蓝图,面向世界模型与物理 AI 开发。Data Factory 提供 5 个云原生蓝图,涵盖驾驶数据、图像增强、事件视频和缺陷生成等场景。
推荐理由:原文将数据构建、模型训练、策略测试与部署串成完整链路,并给出推理和视频处理能力的量化变化,便于评估平台落地范围。
NVIDIA Cosmos 平台新增训练工具、仿真检查点和 Cosmos Data Factory 蓝图,面向世界模型与物理 AI 开发。Data Factory 提供 5 个云原生蓝图,涵盖驾驶数据、图像增强、事件视频和缺陷生成等场景。
推荐理由:原文将数据构建、模型训练、策略测试与部署串成完整链路,并给出推理和视频处理能力的量化变化,便于评估平台落地范围。
欧洲多家金融机构采用开放权重模型,并基于 NVIDIA 加速计算与自有基础设施构建金融智能。Revolut 正在扩大 PRAGMA 的生产部署,服务首批 80 million 名客户,设计规模可扩展至 3x;bunq 的智能体助手 Finn 在 Nebius 上部署后,以每个答案成本的 60% 达到领先闭源模型的质量。
推荐理由:原文汇总多家欧洲金融机构的自有基础设施部署,并给出成本和处理速度数据,便于对照私有化落地的关键指标。
ALLOT 是一种免训练方法,可在延迟预算下按层与去噪步骤分配视频扩散 Transformer 的块稀疏注意力密度,以最大化输出保真度。该方法通过 cell probing 和 trajectory calibration 估计各层与步骤组合对最终视频误差的贡献,并保留现有选择策略和 kernel,仅替换分配组件。
推荐理由:论文将块稀疏注意力的分配从启发式规则转为输出敏感度驱动,并说明如何仅替换分配组件接入现有策略与 kernel。
DONIC 提出一种从多样人类动作数据训练的通用双手追踪器,结合强化学习、回收成功演示和逐手奖励,在无需微调的情况下跟踪未见物体。论文同时提出 BiHOI 多视角数据集,包含 1,575 个序列、覆盖 229 个物体,重点关注持续双手交互。
推荐理由:论文将人类演示回收训练与逐手奖励用于通用双手追踪,并报告未见物体上的成功率对比,为灵巧操作研究提供方法与评测参考。
一项对开放模型训练历程的研究发现,推理模型中的 {wait} 标记可由训练数据继承,而非由强化学习(RL)自行发明。在缺少该词的基座上,RL 显著提升 MATH-500 准确率时,{wait} 仍接近缺席;该词会在 OLMo-3 的中期训练阶段出现,并能由推理轨迹微调植入大多数缺少该词的基座。
推荐理由:论文区分了 {wait} 的训练继承与特定 RL 配方的放大作用,并指出标记频率和 LLM 评审可能误判推理趋势。
本文提出 Future Chunk Prediction(FCP),一种用于自回归视频扩散模型的辅助训练目标,通过在 teacher-forced 去噪之外预测时间上分离的视频片段来强化未来块监督。
推荐理由:文章提出一种无需额外视觉编码器的辅助训练目标,在更低训练算力下提升自回归视频扩散的物理合理性。
MCCL(Memory-Centric Continual Learning)将智能体记忆从被动检索重定义为驱动行为持续改进的核心机制,提出"存储基底—资产—策略"三轴分类与内/外双循环生命周期。
这篇官方教程讲解如何借助 AWS PrivateLink 和 VPC 连接,让 Amazon Quick 从企业内网安全访问本地数据源。用户流量通过网站和 API VPC 端点进入,数据流量则由部署在 VPC 子网中的 ENI 访问数据库、Amazon Redshift 知识库和内部 API;文中还覆盖 DNS、IAM、安全组、访问限制、身份联邦与验证。
推荐理由:文章将用户访问与数据源访问拆成两类私网机制,并给出端点、DNS、权限和验证配置,便于复现企业内网接入方案。
OpenAI 阐述其与分发合作伙伴的协作方式,旨在使用政策框架下保持一致的防护措施、支持负责任的访问并明确各方预期。文章聚焦通过统一标准推进广泛接入的实践路径,强调统一标准在保障安全与扩大可及性之间的平衡作用。
AAIF 基于 Strands Agents 构建,本地小语言模型(SLM)处理常规任务,复杂请求则路由至 Amazon Bedrock。该分层编排旨在减少 API 成本并保持本地操作低延迟。框架以 llama3.2:1b 作为编排器,不依赖硬编码规则选择遥测、本地视觉或云端分析工具,并可部署在配备 8 GB 内存的 Raspberry Pi、全云或混合环境中。
推荐理由:文章以 IoT 监控为例,拆解本地小模型、云端模型与智能体编排的三层架构,并提供可改造的代码和部署路径。
U.S. Hunger 已向 17 名同事开放 Amazon Quick,用于探索组织数据、共享 KPI 定义,并支持家庭援助研究和财务规划。Quick 每晚 2 AM ET 通过定时刷新将 SQL Server 数据载入内存引擎 SPICE,Quick Spaces 集中管理文档、定义和分析,Amazon Quick Research 用于调查当前事件并关联政策问题。
推荐理由:案例梳理了 Amazon Quick 在数据探索、共享 KPI 定义和财务规划中的实际用法,并说明非营利组织可从已有问题与信息开始接入。
AWS 教程演示如何在单台 trn2.48xlarge 上使用 torchtitan 以三种配置训练 Qwen3。
推荐理由:教程给出 Qwen3 的三种训练路径及自定义 NKI 算子接入流程,可作为在 Trainium 上迁移分布式训练实践的参考。
这篇视频世界模型综述以世界建模为统一视角,梳理视频理解与生成围绕潜在时间状态展开的进展。论文将相关工作归为读取、写入、共享和交互四类操作,并区分时间连贯性与底层世界状态的一致性。综述指出,研究重点正从片段级识别和感知保真度转向持久状态、可控演化、物理与因果有效性,以及交互和下游决策导向的评测。
推荐理由:这篇综述以世界建模串联视频理解与生成,并按读写、共享、交互四类操作梳理技术演进与开放问题。
掩码扩散语言模型的受控研究发现,轨迹收缩标签结合置信度与隐藏状态,可形成更优的解掩码策略。低 NFE 下,仅把与最终输出一致的预测标为可提交过于宽松;约 10% 的 NFE 降幅已可抵消最高 7.5M 参数策略的开销。
推荐理由:论文通过受控实验拆解解掩码监督标签与输入特征,为设计兼顾准确率、吞吐量与 NFE 的解掩码策略提供依据。
UserArena推出面向长程购物智能体的真实电商交互基准,含11,010名用户的64,729条会话轨迹,并支持生产A/B结果离线验证。基准覆盖566,102个商品和13种动作类型,五级评估涵盖输出有效性、局部决策、序列行为、个性化和结果。论文还提出On-Policy Trajectory Distillation(OPTD),在所评估模拟器中取得最高整体保真度,并最接近复现生产策略效应。
推荐理由:UserArena提供真实购物长程轨迹与五级评估框架,可对照模拟器保真度及其对生产策略效应的复现程度。
HiP3R 通过分层位姿图把长视频的局部重建合并为全局一致的相机轨迹和 3D 几何,无需再训练或微调。方法先优化鲁棒的 chunk 级 Sim(3) 图以确定全局布局和尺度,再固定布局并为每帧估计共享的 SE(3) 相机位姿。实验覆盖多个基准,方法适用于基于 chunk 和流式后端,项目页为 https://kkakkkka.github.io/HiP3R。
推荐理由:HiP3R 用分层位姿图整合长视频的局部重建,在无需再训练的前提下兼顾全局一致性、尺度稳定与局部误差修正。
论文提出 OPTIC,在 Gemma 4 E4B 的 BF16 配置下实现 1,002x 的逐层嵌入(PLE)压缩,并保留未压缩模型 84.1% 的总体性能。
推荐理由:论文将 OPTIC 与 6 种传统量化基线对比,并给出 7 项基准上的性能保留率,便于判断高压缩率下不同量化方案的表现差异。
T²Quant 提出面向扩散语言模型的时间步任务感知混合精度量化框架,按下游任务和去噪步骤分配激活精度。该方法仅用少量无标签校准提示词预测精度敏感度,在固定 bit-width 预算下不增加平均精度预算,并将现有量化方法的结果最多提升 6.7 个百分点。实验覆盖 3 个扩散语言模型和 6 个基准,论文地址为 https://arxiv.org/abs/2610.31198。
推荐理由:论文将量化敏感度拆解为任务与去噪步骤两个维度,并给出固定预算下的精度分配方法及跨模型基准结果。
TWIG 将神经网络权重表示为共享离散决策路径,统一剪枝、量化、低秩分解、码本和权重共享,并支持构造几乎完全由连线和加法器组成的固定权重电路。一个优化器可在全网络选择这些压缩方式,离散决策也可表述为高阶 Boltzmann machine 的基态问题,供退火机和量子优化器处理。
推荐理由:TWIG 将多种压缩操作统一到共享决策路径,并以相同层误差下的加法器数量与 GPTQ 对比,为模型压缩与固定权重硬件提供统一视角。
DirCast 是一种流式视频语言模型,可仅依据过去上下文同时选择电竞直播镜头并生成实时解说。模型每秒低分辨率扫描所有摄像头,以保持或切换策略决定是否转场,再以高分辨率读取选中画面并解说;上下文保留已播画面与已生成解说,让其余视角移出,从而约束任意长度流的成本。
推荐理由:论文把每秒选镜头与实时解说统一进单一流式模型,并提供规则系统、GPT-5、GPT-4o及11个流式解说器的对照结果。
Dual Exam 分别在固定环境响应机制和固定动作干预下评测多模态智能体与世界模型,覆盖物理、数字、社会和科学领域。
推荐理由:Dual Exam 将智能体与世界模型分轨评测,并报告耦合试验任务成功数为 0 及任务相关状态保持问题。
RIDAR提出面向自主研究智能体的框架,通过基于分类法的事后分析和实时干预检测并缓解科研诚信违规。其 RIVT 分类体系覆盖14类违规;RIDAR-post-hoc 在包含60条专家标注轨迹的 RIV-Gold 上达到85.2% F1,并在 RIV-Wild 的300条轨迹和50项任务中检出3,964个违规实例,99.7%的轨迹含有此类违规。
推荐理由:RIDAR以覆盖14类违规的分类体系为基础,结合事后检测与运行时干预,提供可量化的智能体纠偏框架。
HiSTEVE 1.0 提出一种分层视觉-语言-动作智能体,在 Minecraft 中结合长时程规划与原生键盘、鼠标控制,执行开放式复杂任务。能力感知型智能体执行框架以结构化记忆、VLM 规划器和策略耦合的任务完成状态检测器协调子任务,再由单个 VLA 基于视觉输出原生键鼠动作。
推荐理由:论文将长时程规划与原生键鼠控制纳入同一分层智能体,并给出任务完成检测机制和基准成绩,便于理解开放世界游戏智能体的设计路径。
DraMaze 提出面向长篇微短剧剧本生成的多智能体流水线,以桥段记忆引导的演化树搜索和后向叙事依赖树提升情节多样性与叙事连贯性。论文还推出双语基准 MiDramaBench,用于评估不同剧本长度的逻辑与创意质量。实验覆盖三种骨干 LLM;在最多 60 集、60k words 的剧本上,因果模式重复率降低 32.1%,Logic 得分达到 82.5,比最佳基线高 8.5 分。
推荐理由:论文展示了如何以桥段记忆引导演化树搜索,并按未来叙事目标组织历史记忆,兼顾长剧本的情节多样性与连贯性。
SCOPE 将自然语言策略编译成可执行的神经符号谓词程序,由小型模型、确定性抽取器和代码组合输出,用于多轮 LLM 智能体的策略执行。程序与训练数据联合优化,通过对抗性生成的反例定位其偏离策略之处;在真实世界策略任务基准上,SCOPE 的跨任务和模型平均准确率最高。
推荐理由:SCOPE 将自然语言策略编译为可执行谓词程序,并以对抗反例辅助联合优化,提供了在低成本模型上兼顾策略执行准确率、稳定性与可解释性的具体路径。
F2G-Pose 提出实时单次前馈框架,从单张 RGB-D 图像直接预测类别级物体的三维位姿、米制尺寸和相机坐标系下的补全形状。方法将稠密视觉基础特征提升为局部点云,以 DGCNN 编码局部几何,并用 Mixture-of-Experts Transformer 融合对象级结构。
推荐理由:F2G-Pose 在 SOPE 和 ROPE 上达到 SOTA,位姿推理速度为 28 FPS,为实时三维位姿估计提供了兼顾精度与效率的方案。
BrickWright 通过装配 API 和物理可行性验证器,让预训练智能体根据文本或图像提示生成物理可行的 LEGO 积木装配。在 512 个提示的样本上,智能体达到 100% 物理有效性,基线智能体则为 9%(GPT-6 Luna)至 69%(GPT-6 Astra);轻量智能体的提示遵循度提升,强智能体保持该指标,并优于专用模型完成文本到积木任务。
推荐理由:BrickWright 将装配 API 与物理可行性验证器接入智能体,为实体积木生成提供了一套可复用的验证与纠错方法。
R²Orch提出递归自博弈智能体编排范式,以可学习的任务选择和技能撤回训练编排器,无需人工设计课程。内层自博弈在自选任务上改进编排器,外层循环借助 Recursive Learnability 目标与技能撤回继续改进学习过程。在十二个数据集的问答、数学、代码和交互任务上,R²Orch均优于基线,代码见 https://github.com/beita6969/R2Orch。
推荐理由:R²Orch将任务选择、技能撤回与双层递归自博弈组成闭环,呈现了应对人工课程和优势坍塌的训练设计。
研究提出 VibeGame 框架,利用 AI 原生引擎和 8 个专职对抗智能体,从自然语言提示词及可选参考图片构建完整 2D 游戏项目。AI 原生引擎以 schema 校验的结构化文本表示项目状态并提供帧同步运行时控制,智能体通过多轮实现与评审循环协作,验收项目再经免训练机制蒸馏为可复用骨架、模块和协作契约。
推荐理由:VibeGame 将 8 个专职智能体、交互式验证与免训练自演化组合成 2D 游戏开发流程,并给出相同底层模型下的多框架基准对比。
RiseHarness 在固定模型权重的情况下,通过迭代优化执行框架提升长程终端 AI 智能体的可靠性。它分析同一配置下同时出现成功与失败运行的任务,结合智能体轨迹、运行时监控信息和 Harness Handbook 识别跨任务重复出现的机制问题,再从其他框架寻找相关实现。
推荐理由:论文以同一配置下的成败运行为分析入口,给出在固定模型权重的前提下结合运行轨迹、源码与跨框架实现迭代优化智能体执行框架的方法。
OpenAI 发布《前沿 AI 的民主治理》系列第二篇,提出用前沿 AI 赋能网络防御者并强化安全防护的蓝图。该蓝图同时涵盖推进网络安全现代化、建设更具韧性的公共机构等内容,原文链接:https://openai.com/index/empowering-cyber-defenders
推荐理由:OpenAI 官方给出前沿 AI 赋能网络防御与公共机构韧性的治理立场,可供关注 AI 政策与安全的读者了解其框架思路。
NVIDIA 发布预训练关系型基础模型 Kumo Relational,连接数据库并描述预测目标后,可在一次前向计算中直接生成结果,无需任务特定训练或特征工程。
推荐理由:Kumo Relational直接面向关系型数据库预测,并以41项任务结果对照监督学习和专家特征流水线,呈现免任务训练的结构化数据建模路径。
AT&T 与 OpenAI 合作,把内部法务知识改造成更易调用的形式。其 LegalEdge 团队正重新设计法务需求接入流程,并通过模型规模化产出法律判断。
Pollen Robotics 与 Hugging Face 联合发布开源双足机器人 Microduck,并演示如何用 NVIDIA Isaac Lab 3.0 与 Newton 在仿真中训练步态策略、导出为 ONNX 并部署到真机。
推荐理由:文章给出 Isaac Lab 仿真训练到 ONNX 真机部署的完整命令与配置,读者可据此复现 Microduck 步态策略工作流。
Lafa 将连续流语言模型扩展至 8B 参数,对前缀采用因果注意力,并在块内使用双向异步流,实现高效训练与快速并行推理。论文在 0.5B、7B 和 8B 规模上使用少于 30B tokens 训练,并在指令遵循、推理和编码评测中达到或超过自回归(AR)模型的质量。Lafa 还可蒸馏为支持单步和少步生成的流映射,并通过自推测解码在可比质量下达到 AR 模型 2.54x 的吞吐量。
推荐理由:论文把连续流语言模型扩展到 8B,并给出训练数据量、生成质量和吞吐量对比,便于评估这条技术路线的取舍。
TorchNeuron 性能分析教程以 RMSNorm 为例,演示在 AWS Trainium 上配置 torch.profiler、解读 key_averages(),并追踪算子从框架调度到 NeuronCore 硬件执行。
同一件事,精选收录的是《TorchNeuron 在 AWS Trainium 上的系统级推理性能分析教程》
torch.profiler 与 Neuron Explorer 可组合用于分析 AWS Trainium 上 TorchNeuron 的推理性能与耗时分布。教程从 NeuronConfig 配置和 key_averages() 读取入手,并沿框架调度、运行时调度到 NeuronCore 硬件执行追踪操作。
推荐理由:给出一套从 key_averages() 定位设备耗时操作、再用 Neuron Explorer 跨框架、运行时和硬件层核验的分析流程。
Microsoft Research 研究人员 Xinzhi Zhang 与合作者 Zhao Song 证明 Kannan–Lovász–Simonovits(KLS)猜想,确立了简单平面切割能在与维度无关的固定因子内捕捉对数凹分布最窄瓶颈的原则。
推荐理由:文章详细拆解研究者引导 AI 探索约百条轨迹、筛选候选方向并通过递归改进完成证明的人机协作研究流程与关键环节。
论文提出一种面向任意骨骼绑定的模型,可联合生成视频与 3D 运动,并估计相机以将运动对齐到场景。模型把独立的 3D 运动模型通过少量交叉注意力层连接到预训练视频生成器,训练中使用生成式视频编辑器以及人类和机器人视频,形成 nearly 200K 训练对。
推荐理由:论文比较了任意骨骼动画中联合生成与视频优先方案的差异,评测重点落在文本驱动忠实度与场景响应。
IBM Granite Speech 发布 granite-speech-5.0-2b,并更新 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。
推荐理由:文章按高精度翻译、端侧速度和多说话人归因区分三款模型,并给出速度与错误率变化,便于按场景比较选型。