Amazon SageMaker AI 上的 Mixture-of-Experts 模型 kernel 优化实践
AWS 团队在 Amazon SageMaker AI 上公开三项 Mixture-of-Experts GPU kernel 优化,单项分别带来 2–4% 吞吐提升、10% 吞吐提升和 9% 首 token 时延下降。
推荐理由:原文给出 Swap-AB 转置、Triton 后端路由与消除 JIT 重编译三种 MoE 推理优化手段及对应吞吐与时延数据,便于在同类推理栈中复用。
AWS 团队在 Amazon SageMaker AI 上公开三项 Mixture-of-Experts GPU kernel 优化,单项分别带来 2–4% 吞吐提升、10% 吞吐提升和 9% 首 token 时延下降。
推荐理由:原文给出 Swap-AB 转置、Triton 后端路由与消除 JIT 重编译三种 MoE 推理优化手段及对应吞吐与时延数据,便于在同类推理栈中复用。
NVIDIA 在 OCP 峰会向社区贡献 Vera Rubin 机架与计算模组设计,并联合多家超大规模厂商发布 AI 工厂开放标准。DSX AI Factory 新增四款开源组件,覆盖网络配置、集群验证、硬件管理与裸机部署。
推荐理由:在多家合作方推动下,Vera Rubin 与 DSX 的开放规格集中落地,能让读者看清当前 AI 工厂生态的形态。
InfoVis 是一个用于幻灯片生成与编辑的统一 9B 模型,基于 FLUX.2-klein-base-9B 进行后训练,在超过 13M 持续预训练数据和 1.9M 监督微调数据上训练而成。
推荐理由:原文同时给出统一模型和覆盖四项任务的诊断基准,为开源幻灯片生成提供了可与自家产品的对比参照。
GitHub上新开源了AI论文工具Open Academic Paper Gen,它是一套生成论文初稿的多智能体工作流,把从选题到导出拆成九个阶段。与同类工具相比,其特点是拿到文献全文后会定位最匹配段落,逐条核验正文里的引用是否真的被对应论文支持,证据不足时标为无法判断,存在页码信息时在注释里标出对应PDF页码。
推荐理由:它给出了在多智能体框架下逐句核验文献原文与论文写作流程结合的实现思路,读者可参考其引用核查环节的设计思路。
DeepSeek-Bot 是基于 DeepSeek Harness 的社区多 Bot 插件,每个 Bot 可配置名称、形象、模型并拥有持久化长期记忆。它支持设置主管 Bot 协调群聊以降低 token 消耗,并具备自动记忆审查与上下文压缩等机制。
推荐理由:对比了与 Grok Bot 的多 Bot 团队设计差异,并展示了在 DeepSeek Harness 上以插件形式组织多个 Agent 的思路。
SkillMarker 是一种基于 KGW 的智能体技能水印方法,可在保留指令准确性的同时嵌入水印,实现所有权验证与泄露溯源。它结合质量约束改写与面向信号的候选搜索,在保护功能完整性的前提下强化水印信号强度。作者开源了集成水印嵌入、质量审计与检测的完整工具包。
瑞士 AI 团队发布 Apertus 1.5,将开源 Apertus 系列从纯文本扩展到多模态推理。8B 与 70B 模型分别用 4T 和 2T tokens 继续预训练,加入图像和音频理解,上下文窗口扩至 262,144 tokens;多模态通过 tokenizer 引入,语言模型 head 仍限于文本,训练流程包含 SFT、长上下文微调、RLVR 和偏好对齐。
推荐理由:公开了从纯文本扩展到多模态推理的完整训练方案与数据合规实践,可作为开源多模态模型的构建参考。
LightVAE 是一个视频 VAE 压缩框架,通过将 Conv3D 层重参数化为聚合空间响应与差分驱动的时序校正,并对时序部分做低秩近似,再结合宽度保持的块剪枝和探测引导的特征对齐来恢复画质。
推荐理由:提出针对视频 VAE 的 Conv3D 重参数化和时序低秩压缩方法,在多种 VAE 骨干和两代 GPU 上给出具体加速数据,便于与现有高效解码器对比。
面壁 MiniCPM-V 4.7 35B-A3B 在 Hugging Face 开源,并同步推出 int4 量化版本,被官方称为首个在端侧可流畅运行且不损失性能的开源 MoE 多模态模型。
推荐理由:原文把 LES、细粒度分层量化和 DSpark 推测解码组合在一起作为端侧 MoE 的可迁移做法,并与 Qwen3.6 35B-A3B 直接比较效率与分数。
面壁 MiniCPM 开源 MiniCPM-V 4.7 35B-A3B 多模态模型,是 MiniCPM-V 系列第一个 MoE 变体。
推荐理由:在端侧实现无损流畅推理的开源 MoE 多模态模型,LES 专家调度与层级量化方案适合和 Qwen3.6 35B-A3B 做性能效率对比。
面壁发布 MiniCPM-V 4.7 35B-A3B,这是 MiniCPM-V 系列首个 MoE 多模态模型,结合 Lookahead Expert Scheduling(LES)跨层预测、层间细粒度量化和 DSpark 推测解码,在 iPhone 17 Pro Max 上以 13+ tokens/s 实现无损端侧流畅推理。
推荐理由:原文同时给出 iPhone 17 Pro Max 上 13+ tokens/s 的实测速度与 LES 调度、层间量化和 DSpark 推测解码三项技术细节,读者可据此评估端侧 MoE 推理的可行边界。
AWS 在官方博客汇总 9 月 Amazon Bedrock、Amazon Bedrock AgentCore 与 Strands 的多项更新。
推荐理由:原文一次性梳理 9 月 Amazon Bedrock、AgentCore 与 Strands 关键更新,可作为读者把握当前 Bedrock 模型与智能体能力变化的参照。
腾讯优图实验室开源 5B 参数的全模态解析模型 Youtu-Parsing-Omni,统一处理文档页、自然图像、图表、流程图、几何图、音频与音视频,并按任务提示统一输出 JSON。
推荐理由:5B 全模态解析模型在 OmniDocBench 居首、OmniParsingBench 仅次 Gemini-3-Pro,是评估小尺寸多模态模型能力上限的参考。
星动纪元发布的世界动作模型 VPP2 在 RoboDojo 仿真榜单中以 32.26% 平均成功率、39.26 分综合得分两项指标登顶,分别领先 GPT-6-Astra 9.78 个百分点和 10.29 分。
推荐理由:原文同时给出仿真榜单与真机零样本两组对照数据,读者可据此比较 VPP2 与 π0.5 等基线模型的差距。
由华为2012实验室、华为云等团队联合构建的开源AI Agent平台openJiuwen,正式发布并开源企业级AgentOS,支持多智能体蜂群协同与工作流编排、基于执行轨迹和记忆的自演进机制、软硬协同的算力调度,以及多租户隔离与安全沙箱。
推荐理由:原文给出了企业级智能体平台的架构、能力分层与开源交付形态,读者可以据此判断其作为同类落地参考的价值。
TokenRouter 是面向 token 级 LLM 路由推理的高效服务系统,采用请求中心编程、模型中心执行架构,每个 LLM 启动独立子服务器并配合延迟批处理调度器,调度器超参数由吞吐模型推导得出。
推荐理由:原文给出 token 级路由推理的系统设计与吞吐提升幅度,读者可据此判断该方案对多模型协同推理栈的实际可用性。
作者用 HuggingChat 的 ML Intern 在几天内训练了 6 个定制小模型,包括柑橘病害分类器、Huggy 角色 LoRA、相机视角 LoRA、涂鸦替换 LoRA、0.8B 口袋改写器与 Agate 4 步蒸馏模型,总算力约 103 美元。
推荐理由:作者公开了用 ML Intern 训练小模型的 7 段提示词与项目流程,强调 Verified facts、基线、smoke test 与预算上限等可被迁移使用的写法。
Anthropic 启动名为 Cyber Mission 的网络安全长期计划,同步推出关键基础设施防御计划(CIDP)与开源项目安全扫描工具 OSS Scanner。
推荐理由:原文同时公布了关键基础设施防御计划的合作框架与免费开源扫描工具的接入方式,读者可据此了解 Claude 在网络安全防御中的落地路径。
TerminalHorizon 是一个面向长程终端智能体的全自动数据合成引擎,通过独立执行识别真实职业任务中被省略的关键工作,并以证据引导环境重构、围绕同一目标逐步扩展任务序列。
推荐理由:原论文给出从数据合成到微调训练的完整方法与多基准结果,读者可直接对照自己的智能体训练管线和数据构造思路。
论文提出 Multi-Stream Attention Residuals(MSAR),将 Attention Residuals 沿深度轴的单流 softmax 注意力推广为多流多尺度结构,通过多尺度因果卷积为不同注意力头提供不同上下文视图,再经轻量自适应混合生成层输入,无需持久多流存储或通信。
推荐理由:原文给出 MSAR 在 18B 与 28B MoE 规模下相对 AttnRes、mHC 的加速对比,可作为残差结构选型的参照。
PreSTO 提出针对 PowerMH 幂次采样的子树预取加速方法,在不改变 Metropolis–Hastings 转移核的前提下,把未来提议以一个模型调用批量预取,再沿已实现路径用原 MH 规则接受。
推荐理由:在保持 MH 转移核不变的前提下给出可复现的推理加速方法,并附带在多个数据集与模型上的实测数据,便于迁移到其他采样器优化。
OpenMobile-2 发布并全部开源,聚焦移动智能体的可扩展训练环境与 App 原生工具。MobileGym++ 包含 35 个高保真、可控的商业风格应用并支持跨应用工作流,连同模拟器应用共提供 110+ 应用,用于大规模数据合成和智能体强化学习。
推荐理由:原文同时给出开源环境、基准与模型,并提出混合 GUI/CLI 设置,可作为移动智能体可复现实验的比较起点。
本文提出 Work2Skill 框架,通过 WorkRecorder 采集人类屏幕录制与键鼠操作,并基于 350 条多模态示范构建 WorkDemo-350 数据集,用于抽取可复用智能体技能。
推荐理由:论文给出了框架、数据集和开源代码,并在 MyPCBench 与 OSWorld-Verified 上汇报了具体分数提升,读者可以据此复现并对比现有 GUI 智能体技能提取方法。
面壁 MiniCPM-V 4.7 35B-A3B 系列模型上线,其中 FP8 量化版本已托管在 Hugging Face。
推荐理由:原文详述了 MoE 模型在 iPhone 端侧流畅推理的工程组合并给出 13+ tokens/s 实测速度,对评估同类模型的端侧落地可行性有参考价值。
Liquid AI 开源两款 d1 系列端侧决策模型 d1-3B 与实验版 d1-omni-600M,分别支持文本+图像和文本+图像/音频输入,单次前向传播而非生成 token。
推荐理由:d1-3B 与 d1-omni-600M 在七个公开基准和多款 Jetson 设备上的跑分被详细列出,读者可直接对照 Decider 系列判断端侧决策模型的部署价值。
Ai2 宣布把语言模型改造为字节级表征的 Bolmo 论文被 Nature 接收,并发布基于 Qwen 3 8B 和 Llama 3 8B 字节化得到的新 checkpoint Bwen 8B 与 Blama 8B。
推荐理由:论文给出把现有模型改造为字节级表征的具体配方,并附带已训练好的 Stage 1 checkpoint,让研究者无需重复初始阶段就能直接训练完整系统。
Ai2 在 GitHub 上开源了 OLMo 大语言模型的建模、训练、评估与推理代码及预训练数据生成工具,同时托管开源 Visual AI 平台、PDF 线性化工具包和开源 MoE 大语言模型 OLMoE。这些仓库覆盖大语言模型预训练所需的代码与数据,均已开源提供。
GitHub 页面列出多个热门 AI 开源项目,包括图像分割模型 SAM(55k stars)、向量相似度搜索库 Faiss(41.1k)、目标检测与分割平台 Detectron2(34.8k)。
微软研究院开源 Agent Lightning v1.0,一个约 3,500 行的轻量级智能体强化学习框架,主打 Harnessed Agentic RL 训练范式,让部署用的 agent 框架直接参与 RL 训练。
推荐理由:把部署阶段的 agent 框架直接接入 RL 训练的方案,并给出 Qwen3.5-9B 在 SWE-bench Verified 上的具体增益,读者可据此评估迁移到自身智能体栈的成本。
TouchScale 是一个 500 小时的人体视觉-触觉数据集,采用单一可穿戴设备采集约 2K 个任务,同步记录自我中心 RGB-D 视频、腕部 RGB 视频和双手密集触觉信号。
推荐理由:用统一采集的 500 小时视觉-触觉数据验证了规模化效果,并把接触预测和机器人操作两组数字同时给出。
miniTE 开源框架通过数值与系统优化,弥合原生 NVFP4(W4A4)强化学习中的训练与推理执行差距。相同权重和精度并不保证相同策略,不同引擎的数值执行差异可能造成训练与推理不匹配并使 RL 失稳;严格对齐设置可将 log-probability 差距降至约 1e-8。
推荐理由:miniTE 从数值和系统两侧拆解原生 NVFP4 强化学习的训练与推理差异,并公开诊断工具、算子和训练配方,为低比特 RL 复现提供可操作材料。
TRIAGE 是一种面向原生 NVFP4 强化学习的方向感知稳定化方法,通过段级诊断选择性再平衡策略梯度更新,并对残余严重失配进行有界修复。该方法在采样器与学习器上均保留原生 NVFP4 W4A4 前向执行,在 Qwen3-4B 和 Qwen3-30B-A3B 上的五个数学推理基准中达到全精度水平性能,rollout 吞吐量较 BF16 最高提升 2.3 倍。
openJiuwen(华为2012实验室等团队)开源自演进模型路由技术 X-Router,在 Agent 与模型之间引入路由层,按任务复杂度动态选模并通过反馈闭环持续优化。
推荐理由:提供了按任务复杂度动态选模在 PinchBench 和 Terminal-Bench 上的成本与得分对照数据,对评估 Agent 多模型调用时的成本控制有具体参考价值。
Ai2 开源 AstaBrief 8B 科学报告生成模型,基于 Qwen3-8B 经 SFT 和 DPO 训练。模型已集成进 Asta 平台的 Generate a report 功能作为 Fast mode,平均 51.1 秒生成一份报告,比 Claude 驱动的 Thinking mode 快约 3.5 倍。
推荐理由:文章详细介绍了面向科学报告生成的小模型训练数据筛选与评估方法,为同类任务的数据工程实践提供了可参照的取舍。
Allenai 发布开源训练框架 Olmo-core 3,将 MoE 训练基础设施扩展到万亿参数规模。
推荐理由:Olmo-core 3 把万亿参数 MoE 的训练栈完整开源,并附带各项优化在 B300 上的实测对比,为后续训练基础设施的复现与改写提供了具体基准。
Ai2 发布开源训练基础设施 Olmo-core 3,面向大模型 MoE 架构设计,可扩展到万亿参数规模。系统从 FSDP 切到 DDP,保留专家权重驻留在 GPU 上;在 8 张 NVIDIA B300 GPU 上,47B 参数 MoE 吞吐约 52,000 tokens/s/GPU,较旧实现约 2.7 倍。
推荐理由:完整公开了面向万亿参数 MoE 的训练栈设计、关键优化和吞吐量基准数据,对自建大模型训练系统的团队有参考价值。
研究者提出 Architect-Ant 框架与 AntPlan 数据集(505 张专业平面图、92 类家具、10 种房间),对真实建筑平面图自动生成可编辑家具布局,无需预设推理轨迹。其功能完整性与布局规则得分在对比基线中最高,几何违规更低,生成速度显著快于迭代式 agentic 方法,输出可直接转为 3D 场景。
DEFINE 是端到端零样本 TTS 框架,通过分别用参考音频控制说话人身份和目标口音实现解耦。该框架基于 F5-TTS 与参数高效 LoRA 适配,无需推理时口音标签或合成后波形转换,单个推理时引导权重即可连续调节口音强度而无需重新训练。
Anthropic 在网络安全解决方案页面集中介绍 Claude Mythos 5、Claude Fable 5 与 Project Glasswing 项目。
推荐理由:原文给出 Claude Mythos 5 的能力边界与 Project Glasswing 的开放节奏,读者可以快速判断哪些资源今天就能用于防御场景。
NVIDIA 与 Google DeepMind、EMBL-EBI 等机构在 AlphaFold Database 公开 2800 余种病毒的蛋白复合物 3D 结构预测数据,并开源了 BioNeMo Structure Prediction Pipeline。
推荐理由:展示了 AlphaFold2 与 BioNeMo 推理栈在病毒蛋白复合物预测上的规模化能力,并标注具体数据集规模与新增蛋白相互作用比例。