跳到正文
10月20日周二
  1. AWS Machine Learning Blog54

    vLLM 中基于推送模式的 KV 传输降低拆分解码推理的 TTFT 与 TPOT

    AWS 工程师向开源推理引擎 vLLM 贡献了基于推送模式的 NIXL KV 传输连接器,将传输准备移到后台线程以缩短到首个 token 的关键路径。在 EC2 P5en 搭配 EFA 的 1P1D 部署中以 Qwen3-32B 基准测试,高负载下推送模式 TTFT 最高约为拉取模式的 3 倍,TPOT 改善约 30%;拉取模式仍适用于需要负载感知路由的工作负载。

    推荐理由:给出了在 vLLM 中实现 push 模式 KV 传输的架构与复现步骤,读者可在自己的拆分解码部署中参考其后台线程与注册时机设计。

  2. AWS Machine Learning Blog38

    Deepgram 如何借助 AWS Trainium 规模化优化语音 AI 推理

    Deepgram 与 AWS Forward Deployed Engineering 团队合作,将 Nova-3 语音转文字模型移植到 AWS Trainium2,在离线批量任务上每美元可处理的音频量较此前方案提升 11–70%。

    推荐理由:完整记录 Nova-3 移植到 Trainium2 的工程步骤与吞吐成本收益,可作为同类语音模型推理优化的实操参照。

10月17日周六
  1. AWS Machine Learning Blog44

    AWS 基于 Amazon Bedrock AgentCore 构建九阶段 AI 智能体评估框架

    AWS SMGS 团队基于 Amazon Bedrock AgentCore 构建了一套覆盖智能体全生命周期的九阶段评估框架,从定义质量标准(Stage 1)到反馈循环(Stage 9),在工具、Agent 和多 Agent 三个层级同时运行。

    推荐理由:原文给出九阶段智能体评估框架与可量化的改进结果,可作为构建生产级智能体质量体系的参考。

10月16日周五
  1. AWS Machine Learning Blog54

    Reflection Beam 登陆 AWS SageMaker JumpStart,面向智能体编码的开源权重模型

    Reflection AI 的开源权重模型 Beam 已上线 Amazon SageMaker JumpStart,整体为稀疏 MoE,总参数 501B、激活参数 23B,有效上下文长度 1M tokens,权重以 Apache 2.0 在 Hugging Face 发布,提供 BF16、FP8、NVFP4 三种检查点。

    推荐理由:文章对比 JumpStart 实时端点、HyperPod Inference 与 SGLang 或 vLLM 三条部署路径及对应 H100/H200/B200 实例,便于评估在 AWS 上运行 Beam 的硬件与运维取舍。

  2. AWS Machine Learning Blog50

    Meta 的 Muse Spark Open 模型登陆 Amazon SageMaker JumpStart

    Meta 的开源编码模型 Muse Spark Open 现已在 Amazon SageMaker JumpStart 上线,提供 BF16(Muse-Spark-Open-816B-A42B)与 NVFP4 量化(Muse-Spark-Open-816B-A42B-NVFP4)两种变体。

    推荐理由:原文给出了 BF16 与 NVFP4 两种变体的部署路径、对应实例类型及推理调用方式,便于读者在自有 AWS 环境中评估该模型的编码能力。

10月15日周四
  1. AWS Machine Learning Blog34

    使用 Amazon Bedrock AgentCore 构建可自学习的文档处理系统

    Amazon Bedrock AgentCore 可在 20 分钟内搭建多智能体 IDP 系统,自动分类、提取并校验供应商发票、订单等文档,免去逐格式模板配置。系统基于 Strands Agents SDK 由 8 个专用智能体在两条图工作流中协同;遇到新文档时由 Instructions、Extractor、Validator 自动生成提取规则并修正,成功后持久化供后续直接复用。

10月14日周三
  1. AWS Machine Learning Blog23

    Tamnoon 如何基于 Amazon Bedrock 构建 AI 云安全修复助手 Tami

    Tamnoon 基于 Amazon Bedrock 构建了智能体云安全修复编排器 Tami,由调查、安全评分、修复执行和代码生成四个专用 AI 智能体协作处理云配置问题。该方案在 90 天内将关键云风险暴露降低超过 90%,且未引发任何生产事故。Tami 覆盖 AWS、Azure、Google Cloud 等多云环境,所有调查、优先级排序和修复方案验证在接触生产环境前完成。

  2. AWS Machine Learning Blog35

    使用 Amazon Bedrock AgentCore 自动生成 PPT 演示文稿

    AWS 官方博客给出基于 Amazon Bedrock AgentCore 自动生成 PowerPoint 演示文稿的完整教程,附带 GitHub 代码仓库可直接部署。

    推荐理由:AWS 官方博客给出基于 AgentCore 的可复用架构与配套代码仓库,读者可以照搬到金融报告或销售提案等其他企业文档自动化场景。

  3. AWS Machine Learning Blog37

    Amazon SageMaker JumpStart 模型部署与性能评测教程

    AWS 博客演示如何用 SageMaker Python SDK v3 从 Amazon SageMaker JumpStart 发现并部署模型,以 huggingface-vlm-qwen3-5-27b 为例运行示例 prompt 测量延迟和生成速率,最后清理端点。

    推荐理由:给出可复用的部署与评测脚本以及控制台改进要点,读者可以据此搭建不同 JumpStart 模型之间的横向对比流程。

  4. AWS Machine Learning Blog46

    使用 Anchor Browser 与 AgentCore payments 构建可自动付费的 AI 智能体

    Amazon Bedrock AgentCore payments 与 Anchor Browser 集成,让 AI 智能体在遇到 HTTP 402 Payment Required 时自动通过 x402 协议完成付费,无需人工介入。

    推荐理由:文章给出了智能体自动处理 x402 付费请求的架构拆解与代码示例,对需要让智能体独立访问付费资源的开发者有可直接迁移的参考价值。

  5. GitHub Blog · AI & ML55

    GitHub 用 ModernBERT 分类器升级密钥扫描,提升精度并降低成本

    GitHub 在 Secret Scanning 中部署了基于 ModernBERT 微调的上下文感知分类器,与此前基于 LLM 的流水线相比,仓库所有者加权告警接受率提升 11.5%,post-push 扫描执行时间中位数下降 86%,服务成本下降超过 98%。

    推荐理由:原文给出了小模型替代远程 LLM 流水线的具体收益数据,可帮助读者判断何时应该用专用编码器取代通用大模型。

  6. AWS Machine Learning Blog69

    在 Amazon Bedrock 上用 Grok 4.7 构建长链路推理 Agent

    AWS 博客介绍如何在 Amazon Bedrock 上调用 Grok 4.7 构建工具调用 Agent,并在三个需要搜索而非查表的任务上比较四种 reasoning effort 档位:72 次运行中答对 67 次,xhigh 档 18/18 全部正确,low 档用约 1/8 的输出 token 答对 15/18 次。

    推荐理由:给出可复用的推理 Agent 评测方法与按档位调校的工程实践,并把推理质量与 token 成本做成可调旋钮。

10月13日周二
  1. AWS Machine Learning Blog39

    Amazon SageMaker AI 上的 Mixture-of-Experts 模型 kernel 优化实践

    AWS 团队在 Amazon SageMaker AI 上公开三项 Mixture-of-Experts GPU kernel 优化,单项分别带来 2–4% 吞吐提升、10% 吞吐提升和 9% 首 token 时延下降。

    推荐理由:原文给出 Swap-AB 转置、Triton 后端路由与消除 JIT 重编译三种 MoE 推理优化手段及对应吞吐与时延数据,便于在同类推理栈中复用。

  2. AWS Machine Learning Blog40

    通过 Amazon Bedrock 全球跨区域推理在五个亚太区域访问 OpenAI GPT-6

    Amazon Bedrock 在新加坡、雅加达、马来西亚、泰国、台北五个亚太源区域上线 OpenAI GPT-6 Sol 和 Luna 的全球跨区域推理,GPT-6 Astra 仅从新加坡可用。

    推荐理由:给出了在五个亚太区域接入 OpenAI GPT-6 的 IAM、SCP、配额与监控配置,可直接作为企业部署参考。

  3. AWS Machine Learning Blog42

    用 Ray LLM DLC 在 Amazon EKS 上部署多节点预填充/解码分离推理

    AWS 博客演示如何用 Ray LLM 深度学习容器在 Amazon EKS 上跨两个 GPU 节点部署 Qwen3.5-9B 的预填充/解码分离推理,并对外暴露单一 OpenAI 兼容端点。

    推荐理由:原文把 Ray LLM DLC 部署多节点预填充/解码分离推理的全过程写成 YAML 与脚本,读者可以直接复用到自己的 Amazon EKS 集群。

10月10日周六
  1. OpenAI News45

    Asana 用 GPT-6.1 Sol 将浏览器智能体模型成本降低 76 倍

    Asana 在 Codex 中用 GPT-6 Astra 自动优化其浏览器智能体工作流,在 GPT-6.1 Sol 上实现平均每次运行 $0.47 的模型成本和约 4 分钟时长,比 Model B 原生产配置便宜 76 倍、快 5 倍。

    推荐理由:展示了用 Codex 中的 GPT-6 Astra 自动优化浏览器智能体的方法与可量化的成本、速度对比,便于评估类似工作流的优化空间。

  2. Ai2 Blog40

    Ai2 改造 GPU 集群调度:用预算与公平份额替代优先级

    Ai2 用 GPU 时间预算、分层公平份额和时间片合同替换了原有优先级调度器,覆盖约 150 名研究人员使用的数千张 H100、B200、B300 GPU 集群。30 天测试期内团队实际获得的 GPU 小时数达到应得的 98%,15 个团队中 13 个达到 95% 以上,集群占用率维持在 98%,调试任务 p90 排队等待时间从 2 小时降到 30 秒,需要人工介入的维修工单减少 74%。

    推荐理由:原文给出了把 GPU 调度从优先级改为预算加公平份额的具体设计与实测结果,集群运维者可据此判断能否迁移到自己的环境。

  3. AWS Machine Learning Blog42

    Postman 如何在 Amazon Bedrock 上为 4000 万开发者运行 Agent Mode

    Postman 联合 AWS 介绍在 Amazon Bedrock 上规模化运行 Agent Mode 的生产架构与工程经验。核心模式包括按任务动态筛选工具、用 ClickHouse schema 让模型直接生成 SQL 查询、用专用上下文处理器取代渲染数据模型,并通过 Claude 模型路由、跨区域推理、分层 prompt 缓存与模型相关零数据保留控制成本与延迟。

    推荐理由:文章把 Postman 在 Amazon Bedrock 上规模化运行 Agent Mode 的工具治理、上下文工程和推理路由做法写成可参考的模式。

10月9日周五
  1. OpenAI News34

    LegalOn 借助 Codex 按任务分级调用模型,将开发成本减半并维持开发速度

    LegalOn Technologies 按任务复杂度在 GPT-6 Astra、GPT-6.1 Sol 和 GPT-6 Luna 三款 Codex 模型间分级调用,并将 Fast mode 设为默认关闭、按部门和团队设置月度预算上限,使估算日均成本相比 GPT-5.5 降低约 65%,开发速度未受影响。成熟业务被要求提升约 20% 的成本效率,新业务则获得充足预算以鼓励 AI 广泛使用。

  2. Hugging Face Blog72

    用 HuggingChat 的 ML Intern 训练定制小模型:6 个项目提示词与成本公开

    作者用 HuggingChat 的 ML Intern 在几天内训练了 6 个定制小模型,包括柑橘病害分类器、Huggy 角色 LoRA、相机视角 LoRA、涂鸦替换 LoRA、0.8B 口袋改写器与 Agate 4 步蒸馏模型,总算力约 103 美元。

    推荐理由:作者公开了用 ML Intern 训练小模型的 7 段提示词与项目流程,强调 Verified facts、基线、smoke test 与预算上限等可被迁移使用的写法。

  3. NVIDIA Blog67

    NVIDIA 开发者如何用 GPT-6 Astra 等前沿 AI 智能体构建 Omniverse 仿真应用

    NVIDIA 展示了开发者如何用 GPT-6 Astra 等前沿 AI 模型驱动智能体,结合 NVIDIA Omniverse 库把仿真创意构建为可运行应用。案例覆盖建筑数字重建、燃气轮机故障分析、机器人控制与仓储扩容;其中 80 条输送带、40 个机械臂和 800 个箱子的仓储仿真在 2 分钟测试中维持 30 FPS,并完成 640 次箱体放置。

    推荐理由:文章以建筑重建、涡轮测试和仓储扩容为例,展示自然语言驱动智能体连接仿真库、生成应用并定位瓶颈的方法。

10月8日周四
  1. AWS Machine Learning Blog38

    Amazon Quick 与 Amazon Bedrock 重新设计企业 RAG 实时访问控制机制

    Amazon Quick 与 Amazon Bedrock Knowledge Bases 新增实时 ACL 校验,查询时直接调用 Google Drive 等数据源 API 核实权限,解决同步式 ACL 过滤造成的权限过期与映射遗漏风险。该方案采用两阶段架构:先经向量索引做语义检索与预过滤缩小候选集,再对候选文档实时校验,仅将授权内容传入大语言模型生成回答,从而在性能与安全性之间取得平衡。

    推荐理由:原文给出两阶段实时 ACL 校验架构,读者可对照自身 RAG 权限方案评估同步模式可能带来的访问过期风险。

  2. AWS Machine Learning Blog38

    AWS DevOps Agent 调查后的自动化修复方案

    AWS 官方博客发布教程,演示用 Lambda Durable Functions、Amazon EventBridge 与 Amazon Bedrock 在 AWS DevOps Agent 完成根因分析后自动推进修复。

    推荐理由:给出把调查摘要转成可一键批准修复动作的端到端参考架构,并把只读自治与变更操作审批分离的模式留给读者复用。

  3. AWS Machine Learning Blog37

    超越工时节省:构建智能体自动化的商业论证框架

    AWS 推出名为 Agentic Value Model 的框架,把智能体自动化的价值拆成四个维度:工时节省、异常处理、决策质量、变更韧性,并以价值实现率决定是否真正落到损益表。

    推荐理由:提出智能体自动化的四维价值模型与优先级矩阵,可作为 AI CoE 立项与衡量价值的参考框架。

10月7日周三
10月6日周二
  1. AWS Machine Learning Blog34

    使用 Amazon Bedrock AgentCore 评估多智能体系统的可解释性与有用性

    Amazon Bedrock AgentCore Evaluations 通过内置评估器和自定义评估器,对多智能体系统的有用性、任务完成度与可解释性等维度进行结构化评估。文章以 AnyCompany Retail 供应链决策系统为例,基于 Strands Agents SDK 构建编排代理与四个专项子代理分别负责优化、调配、路由和分析,并同时支持开发期的按需评估和生产环境的在线持续监控。

  2. AWS Machine Learning Blog29

    如何在 Amazon Quick 中降级用户角色

    Amazon Quick 控制台不支持将 Author 或 Admin 直接降级为 Reader,可通过手动删除重建或 AWS CLI 两种方式完成降级。CLI 路径需按 Admin > Author > Restricted Reader > Reader 顺序逐级操作,Pro 层级同样适用,降级前需先转移仪表板等资产所有权以避免资源孤立。

10月3日周六
  1. OpenAI News78

    OpenAI 发布 GPT-6 模型家族实用指南

    OpenAI 发布 GPT-6 模型家族实用指南,介绍如何根据能力、推理力度和延迟在 GPT-6 Astra、Sol 与 Luna 之间取舍,并通过提示词缓存(最多减少 95% 成本)、compaction 与监控管理生产中的成本与上下文。

    推荐理由:原文给出模型选型、推理级别与提示词配置的具体取舍方法,可帮助读者把 GPT-6 接到生产链路里。

  2. AWS Machine Learning Blog36

    在 Amazon SageMaker AI 上用多轮强化学习微调搜索 Agent

    AWS 团队在 Amazon SageMaker AI 上用多轮强化学习微调 Qwen3.6-27B 搜索 Agent,以 nDCG@10 作为轨迹级奖励。微调后 BrowseComp-Plus 的 nDCG@10 提升 23.7%、失败率从 22.89% 降至 0.68%,WixQA 与 Wands 也分别提升 18.4% 与 6%。

    推荐理由:给出在 Amazon SageMaker AI 上用多轮强化学习微调搜索 Agent 的方法、配置与结果,可作为多轮 Agent 训练的参考。