用 Ray LLM DLC 在 Amazon EKS 上部署多节点预填充/解码分离推理
AWS 博客演示如何用 Ray LLM 深度学习容器在 Amazon EKS 上跨两个 GPU 节点部署 Qwen3.5-9B 的预填充/解码分离推理,并对外暴露单一 OpenAI 兼容端点。
推荐理由:原文把 Ray LLM DLC 部署多节点预填充/解码分离推理的全过程写成 YAML 与脚本,读者可以直接复用到自己的 Amazon EKS 集群。
AWS 博客演示如何用 Ray LLM 深度学习容器在 Amazon EKS 上跨两个 GPU 节点部署 Qwen3.5-9B 的预填充/解码分离推理,并对外暴露单一 OpenAI 兼容端点。
推荐理由:原文把 Ray LLM DLC 部署多节点预填充/解码分离推理的全过程写成 YAML 与脚本,读者可以直接复用到自己的 Amazon EKS 集群。
AWS 在 Amazon SageMaker AI 上提供基于 llama.cpp 容器的决策模型部署方案,支持 CPU 与 GPU 实例的文本生成与 SemIf 结构化决策两条路径。
推荐理由:原文给出 CPU 与 GPU 部署路径、延迟对比与 SemIf 扩展方法,读者可据此选择适配自身负载的实例类型。
Mirabilis AI 智能体(基于 Claude Code)开源了 Kalshi 流动性激励计划(LIP)的精确评分 Python 工具包,含公开 API 客户端与 CLI。
推荐理由:作者用一个 $20 实盘账户给出模型预测与实际奖励的对照数据,并开源了配套的精确评分工具,读者可据此理解预测市场做市激励的真实表现与失效方式。
作者为 Linux 写空间音频程序时,针对一款商业效果器设计了一套测量逆向流程:通过 PipeWire 在朋友笔记本上播放含脉冲、正弦对数扫频、多频音和分频段噪声的测试文件并录制输出,再用正则化谱除法提取四通道 HRTF 类响应,最后加载进 Saq 复现出目标中的离头感。前期作者曾用 Gemini 作为思路讨论的辅助工具,但得到的描述无法落地,因此转向以测量驱动的方法。
推荐理由:作者给出针对黑盒音频效果的测量与重建流程,从激励信号设计到滤波器提取都列出步骤,方便迁移到其他效果器复现。
The Verge 作者 Antonio G. Di Benedetto 在 M5 Ultra Mac Studio(256GB 统一内存)上安装了开源桌面应用 Hermes Agent,并搭配 Qwen 3.8 Flash Next(125B 参数,约 105GB)等本地大模型进行实测。
推荐理由:作者以实测展示了本地大模型在桌面端能完成的任务类型与当前局限,读者可以据此评估投入本地硬件的性价比。
tiny-audio 是一个开源语音转文字系统,将冻结的预训练语音编码器通过小型可训练投影层接入预训练 LLM,整体训练成本约 25 美元,只需训练约 8000 万参数。
推荐理由:原文给出了冻结语音编码器加可训练投影层再加冻结 LLM 的解耦架构与完整训练流程,可作为低成本端到端语音转文字方案的参考实现。
作者用 Claude Code、Codex 等 AI 智能体在约五个月内完成一款 FPS 的 C++ 反编译,99% 函数被还原、83% 函数字节级一致,估计消耗 600-700B tokens。
推荐理由:作者用数月时间让 AI 智能体完成一款射击游戏的反编译,总结了指令衰减、验证机制和智能体作弊等可迁移到其他智能体编排项目的实战经验。
Cockroach Labs 把自家编码流水线改造成教学医院式的多智能体协作系统 MOLT Sinai,由规划 Agent、住院医师、评审主治等角色通过 GitHub Issues 流转协作,五个月内合并了 1238 个 PR、产出超百万行代码。
推荐理由:把多智能体编码流程类比成教学医院,给出 GitHub Actions 上角色化管线的拆解与五个月实际跑出来的吞吐与质量权衡。
作者以 Qwen/Qwen3-1.7B 为例,演示通过约束解码把模型输出限制在固定选项(A-E),单次前向即可选出概率最高的答案;在 CommonsenseQA 随机样本上准确率为 0.5938,简单微调后提升到 0.6241。
推荐理由:原文给出从约束解码到温度校准的完整代码与评测,读者可以照搬这套方法把任意 LLM 改成固定选项的决策模型。
Inspired Entertainment 借助 Google Antigravity CLI(此前为 Gemini CLI)将博彩运营商钱包 API 适配器开发从 6-8 周压缩到 1 周,手工工程量从 40 dev days 降至 5 AI-orchestrated dev days,单次集成所需团队从 5 人减至 2 人。
推荐理由:原文给出 8 周压到 1 周的具体数字与工具栈,可供评估自家 API 适配器场景的迁移路径。
Standard Bots 通过共享基础模型、演示与微调适配任务,并在工厂本地运行推理,构建面向工业机器人可靠执行的 AI 技术栈。在机器上下料中,zero-shot 感知系统负责定位和识别零件,常规编程负责运动与单元逻辑,其骨干模型训练使用了超过 10 亿张图像。公司强调定向数据与部署中的人工纠正,并以边缘 GPU 生成 action chunks 送入底层控制系统,降低对云端连接的依赖。
推荐理由:Standard Bots 的案例拆解了定向数据、边缘推理和软硬件协同如何支撑可靠执行,并指出这些方法也可迁移到软件智能体。
数学家陶哲轩在博客发表文章,面向数学同行介绍 Lean 定理证明器的可靠性问题,以及 AI 在形式化证明中的相关应用与思考。
推荐理由:陶哲轩从数学家视角梳理 Lean 定理证明器的可靠性与 AI 相关要点,为读者提供形式化证明与自动证明的入门参照。
Asana 在 Codex 中用 GPT-6 Astra 自动优化其浏览器智能体工作流,在 GPT-6.1 Sol 上实现平均每次运行 $0.47 的模型成本和约 4 分钟时长,比 Model B 原生产配置便宜 76 倍、快 5 倍。
推荐理由:展示了用 Codex 中的 GPT-6 Astra 自动优化浏览器智能体的方法与可量化的成本、速度对比,便于评估类似工作流的优化空间。
软件工程师 Jesse Waites 用 AI 流水线在荷兰东印度公司档案里发现 1812 年印度陨石记录、1738–1740 年送往锡兰的三头犀牛,以及 1712、1722、1780 年三处未被记录的火山喷发。
推荐理由:作者给出了可复用的检索流水线,并演示了嵌入向量、轻量过滤模型和大模型复核三层组合在历史档案中的效果。
Ai2 用 GPU 时间预算、分层公平份额和时间片合同替换了原有优先级调度器,覆盖约 150 名研究人员使用的数千张 H100、B200、B300 GPU 集群。30 天测试期内团队实际获得的 GPU 小时数达到应得的 98%,15 个团队中 13 个达到 95% 以上,集群占用率维持在 98%,调试任务 p90 排队等待时间从 2 小时降到 30 秒,需要人工介入的维修工单减少 74%。
推荐理由:原文给出了把 GPU 调度从优先级改为预算加公平份额的具体设计与实测结果,集群运维者可据此判断能否迁移到自己的环境。
Ai2 基础设施团队将基于优先级的集群调度器替换为包含 GPU 时间预算、分层公平分配和时间分片合约的新系统,把 GPU 资源分配从逐案操作改为透明的预算流程。
同一件事,精选收录的是《Ai2 改造 GPU 集群调度:用预算与公平份额替代优先级》
Postman 联合 AWS 介绍在 Amazon Bedrock 上规模化运行 Agent Mode 的生产架构与工程经验。核心模式包括按任务动态筛选工具、用 ClickHouse schema 让模型直接生成 SQL 查询、用专用上下文处理器取代渲染数据模型,并通过 Claude 模型路由、跨区域推理、分层 prompt 缓存与模型相关零数据保留控制成本与延迟。
推荐理由:文章把 Postman 在 Amazon Bedrock 上规模化运行 Agent Mode 的工具治理、上下文工程和推理路由做法写成可参考的模式。
Simon Willison 使用 ChatGPT Codex 语音模式(GPT-6 Astra High)边做饭边为博客构建了新的 /newsletters/ 通讯索引页面。
推荐理由:作者演示了用语音对话模式配合本地预览边做饭边写代码的全流程,给想尝试语音驱动编码的读者提供了具体的工作流参考。
Jane Street 实习生通过为内部消息总线 Aria 引入按主题分区的索引和自适应子树切分,把 tip 恢复的 CPU 使用率在生产环境降低了约 30%,并消除了部分服务器的尾部延迟。
推荐理由:给出了关键消息总线在生产环境中用索引与自适应切分做扩展的完整案例,以及用 AI 智能体跑多种实现做基准测试的具体做法。
LegalOn Technologies 按任务复杂度在 GPT-6 Astra、GPT-6.1 Sol 和 GPT-6 Luna 三款 Codex 模型间分级调用,并将 Fast mode 设为默认关闭、按部门和团队设置月度预算上限,使估算日均成本相比 GPT-5.5 降低约 65%,开发速度未受影响。成熟业务被要求提升约 20% 的成本效率,新业务则获得充足预算以鼓励 AI 广泛使用。
作者用 HuggingChat 的 ML Intern 在几天内训练了 6 个定制小模型,包括柑橘病害分类器、Huggy 角色 LoRA、相机视角 LoRA、涂鸦替换 LoRA、0.8B 口袋改写器与 Agate 4 步蒸馏模型,总算力约 103 美元。
推荐理由:作者公开了用 ML Intern 训练小模型的 7 段提示词与项目流程,强调 Verified facts、基线、smoke test 与预算上限等可被迁移使用的写法。
NVIDIA 展示了开发者如何用 GPT-6 Astra 等前沿 AI 模型驱动智能体,结合 NVIDIA Omniverse 库把仿真创意构建为可运行应用。案例覆盖建筑数字重建、燃气轮机故障分析、机器人控制与仓储扩容;其中 80 条输送带、40 个机械臂和 800 个箱子的仓储仿真在 2 分钟测试中维持 30 FPS,并完成 640 次箱体放置。
推荐理由:文章以建筑重建、涡轮测试和仓储扩容为例,展示自然语言驱动智能体连接仿真库、生成应用并定位瓶颈的方法。
作者逆向 Nokia 110 4G 固件,把内置计算器改造成 AI 智能体,通过 DeepSeek chat API 回复并调用手机原生功能,实现查询 SIM 数据、开关手电筒、拨号和设置闹钟等操作。该原型在 48MB 内存上精简了 agent 代码、压缩 payload 并复用缓冲,目前需通过计算机加载到 RAM 运行,重启后失效,源码因含敏感数据暂未公开。
推荐理由:把诺基亚 110 计算器改造成可调本机功能的 AI 智能体,给出了 48MB 内存下压缩 payload 与复用缓冲的端侧方法。
Amazon Bedrock AgentCore payments 正式可用,让 AI agent 通过 x402 协议按次向推理服务付费。
推荐理由:文章给出了 AgentCore payments 与 x402 推理服务对接的端到端实现,以及支出上限在基础设施层强制生效的具体做法。
AWS 在官方博客发布基于 SageMaker HyperPod 与 EKS 的多租户参考架构,让多个团队共用同一 GPU 集群。
推荐理由:原文给出在 EKS 集群上串联身份、命名空间、配额与成本归属的多租户模板,便于企业按团队粒度复用并改造 GPU 资源分配方式。
Reddit 用户 This_Cell_1829 用 Claude Code(搭配 Opus 5.5 和 Fable 5.1)分析 NASA TESS 望远镜数据,在约 116 光年外的恒星上识别出周期 3.18 天、约 1.4 倍地球大小的候选系外行星,相关 TESS DDT 第 100 号观测(10 月 31 日至 11 月 26 日)已获批。
推荐理由:作者详细记录了 Claude Code 协助科研的完整工作流和反证式审计要点,可迁移到其他 AI 辅助分析场景。
Amazon Quick 与 Amazon Bedrock Knowledge Bases 新增实时 ACL 校验,查询时直接调用 Google Drive 等数据源 API 核实权限,解决同步式 ACL 过滤造成的权限过期与映射遗漏风险。该方案采用两阶段架构:先经向量索引做语义检索与预过滤缩小候选集,再对候选文档实时校验,仅将授权内容传入大语言模型生成回答,从而在性能与安全性之间取得平衡。
推荐理由:原文给出两阶段实时 ACL 校验架构,读者可对照自身 RAG 权限方案评估同步模式可能带来的访问过期风险。
EmDash 宣布其官方插件注册表已接入 Cloudflare 的 Clef 决策模型,对所有上架插件的文本、图片与链接进行审核。原本需要两个文本模型加一个图像模型的管线被替换为单一多模态模型,文本审核 p95 延迟 1.64 秒,21 个公开回归用例在 63 次运行中全部命中预期结果,概率达到 0.45 以上的条目转人工复核。
推荐理由:文章给出一个用单一多模态决策模型替代多模型审核管线的实践案例,含评测方法、阈值设定与人机兜底流程,对类似内容审核场景有参考价值。
Cornerstone OnDemand 基于 Amazon Bedrock 与 Strands Agents 构建多智能体系统 Orion AI,将数据库诊断时间从 45 分钟压缩到 10 分钟,降幅 78%。
AWS 推出了一项为期六周的结构化项目(每周约 4 小时),帮助无工程背景的业务人员通过动手构建 AI 智能体来弥合知识与能力差距。
AWS 官方博客发布教程,演示用 Lambda Durable Functions、Amazon EventBridge 与 Amazon Bedrock 在 AWS DevOps Agent 完成根因分析后自动推进修复。
推荐理由:给出把调查摘要转成可一键批准修复动作的端到端参考架构,并把只读自治与变更操作审批分离的模式留给读者复用。
AWS 推出名为 Agentic Value Model 的框架,把智能体自动化的价值拆成四个维度:工时节省、异常处理、决策质量、变更韧性,并以价值实现率决定是否真正落到损益表。
推荐理由:提出智能体自动化的四维价值模型与优先级矩阵,可作为 AI CoE 立项与衡量价值的参考框架。
AWS 发布指南,阐述如何借助 ISO/IEC 42005:2025 帮助客户开展 AI 系统影响评估,融入企业风险管理流程。该标准覆盖评估全生命周期并提供轻量级 triage 分级机制,Annex D 与 Annex E 分别给出与既有评估整合及独立实施的模板。
Amazon Bedrock AgentCore Evaluations 通过内置评估器和自定义评估器,对多智能体系统的有用性、任务完成度与可解释性等维度进行结构化评估。文章以 AnyCompany Retail 供应链决策系统为例,基于 Strands Agents SDK 构建编排代理与四个专项子代理分别负责优化、调配、路由和分析,并同时支持开发期的按需评估和生产环境的在线持续监控。
Amazon Quick 控制台不支持将 Author 或 Admin 直接降级为 Reader,可通过手动删除重建或 AWS CLI 两种方式完成降级。CLI 路径需按 Admin > Author > Restricted Reader > Reader 顺序逐级操作,Pro 层级同样适用,降级前需先转移仪表板等资产所有权以避免资源孤立。
运行在 Amazon Bedrock AgentCore runtime 上的示例 MCP 服务器 Quick Resource Migrator,可通过单次工具调用把 Amazon Quick 的聊天代理。
OpenAI 发布 GPT-6 模型家族实用指南,介绍如何根据能力、推理力度和延迟在 GPT-6 Astra、Sol 与 Luna 之间取舍,并通过提示词缓存(最多减少 95% 成本)、compaction 与监控管理生产中的成本与上下文。
推荐理由:原文给出模型选型、推理级别与提示词配置的具体取舍方法,可帮助读者把 GPT-6 接到生产链路里。
AWS 团队在 Amazon SageMaker AI 上用多轮强化学习微调 Qwen3.6-27B 搜索 Agent,以 nDCG@10 作为轨迹级奖励。微调后 BrowseComp-Plus 的 nDCG@10 提升 23.7%、失败率从 22.89% 降至 0.68%,WixQA 与 Wands 也分别提升 18.4% 与 6%。
推荐理由:给出在 Amazon SageMaker AI 上用多轮强化学习微调搜索 Agent 的方法、配置与结果,可作为多轮 Agent 训练的参考。
AWS 博客提出 Adjudicated Query 设计模式,把 Amazon Quick 作为聊天入口,由确定性规则引擎完成合规判定,模型只把自然语言翻译成有限 MCP 工具调用并复述结果,判定环节不调用大模型。
推荐理由:原文给出把生成式 AI 限制在对话层、把合规判定留在确定性规则引擎的 Adjudicated Query 架构,并附可部署参考实现,便于迁移到制裁筛查、保险理赔等高风险场景。
GPT-6 Astra 通过 agent-wow 框架在魔兽世界中创建兽人角色并完成起始区任务,全程用时 40 分钟且零死亡。agent-wow 不依赖计算机视觉或客户端注入,而是直接通过 WoW 网络协议与基于 AzerothCore 的本地服务器交互,智能体在协议层编写 C++ 寻路程序并订阅 SMSG 数据包来构建世界模型。作者计划后续测试单智能体自主练至 80 级以及多智能体协作能力。
推荐理由:通过 WoW 网络协议而非屏视检测驱动 LLM 智能体,展示了一种评测前沿模型长链路能力的工程方法。