跳到正文
  1. AWS Machine Learning Blog71

    在 Amazon SageMaker AI 上用知识蒸馏构建高效智能体

    AWS 用 SeqKD 在 Amazon SageMaker AI 上蒸馏购物智能体,Qwen3.5-4B 的平均绝对成功率由 0.297 升至 0.541。教师 GLM-5.3 在 426 个训练问题上生成 850 条候选轨迹,ShoppingBench 评分器筛选后,将推理与工具调用按步编码,再用无服务器 SFT 和 LoRA 训练并部署。

    推荐理由:文章完整给出了教师轨迹筛选、SeqKD 微调、基准评测与 LoRA 部署流程,并呈现任务成功率提升和通用指令能力下降的实测结果。

  1. MIT Technology Review · AI53

    HPE 建议以每个已合并拉取请求的成本衡量 AI 编码投入

    HPE 主张,AI 编码智能体的成本应按每个通过审查并合并的拉取请求衡量,而不是按 token 消耗衡量。文章建议将高难度规划和新型推理交给前沿模型,将代码生成、测试和重复重构路由到企业自有容量上的开放权重模型,并由企业控制的网关统一调度。

    推荐理由:文章提出以每个已合并拉取请求的全口径成本衡量 AI 编码产出,并结合自有容量与前沿 API 的混合路由,给出可落地的智能体成本评估方法。

  1. Latent Space79

    Anthropic 如何借助 Claude 交付 Claude:分离智能体的大脑与执行环境

    Anthropic 的工程与产品负责人介绍其发布 Claude 的流程,并用 Managed Agents 展示如何分离智能体的“大脑”与执行环境。Opus 5.5 在发布时兼顾模型质量与单位成本,同时通过跨轮保留 thinking blocks 限制推理链提取和知识蒸馏,部分 API 客户因此需要调整 harness。

    推荐理由:文章以 Managed Agents 为例,说明如何分离持久会话与按需沙箱,并提供兼顾安全隔离、延迟和 API 兼容性的架构视角。

  1. Hacker News66

    Sebastian Raschka 发布从零构建推理模型的 8 节视频课程

    Sebastian Raschka 发布 8 个从零构建推理模型的教学视频,总时长 11 小时,使用 Python 和 PyTorch 实现核心方法。课程以预训练 Qwen3 0.6B 为起点,依次实现生成与评估、推理时扩展、RLVR、GRPO、蒸馏和 MATH-500 评测。代码和章节示例可独立学习,前期示例可用 CPU,后续训练实验更适合使用 GPU。

    推荐理由:课程以 Qwen3 0.6B 为基础,代码覆盖评估、推理扩展、RLVR 和蒸馏,便于对照实验理解各技术如何影响模型表现。

  1. Hacker News59

    Cerebras 介绍在 WSE-3T 上部署万亿参数 AI 模型的方法

    Cerebras 介绍如何将万亿参数模型拆分到多块 WSE-3T 晶圆,并通过流水线运行达到 1000-2000+ tokens per second。以开源模型 Kimi K3 为例,3T 参数模型采用 4-bit 权重量化和 8-bit KV cache,按 69 个线性注意力层与 24 个稠密层映射到 59 块晶圆。

    推荐理由:以 Kimi K3 为例拆解 59 块晶圆的模型映射、流水线并发与 KV cache 容量计算,为评估超大模型推理部署提供可复用方法。

  1. AWS Machine Learning Blog74

    Amazon SageMaker AI 多轮强化学习 Wordle 实操指南

    AWS 通过 Wordle 示例,演示了在 Amazon SageMaker AI 上端到端训练多轮强化学习模型的完整流程。流程涵盖 AgentCore 智能体与奖励函数部署、数据集准备、使用 GRPO 更新 LoRA 适配器、MLflow 监控及部署设置下的评测。

    推荐理由:文章从 IAM 角色配置、AgentCore 智能体部署、数据准备到训练监控和部署设置评测,完整拆解多轮强化学习的落地流程与常见故障。

  1. Hugging Face Blog61

    TorchNeuron 性能分析(第一部分):AWS Trainium 上的系统级分析

    TorchNeuron 性能分析教程以 RMSNorm 为例,演示在 AWS Trainium 上配置 torch.profiler、解读 key_averages(),并追踪算子从框架调度到 NeuronCore 硬件执行。

    推荐理由:文章以同一 RMSNorm 工作负载对比三种实现,呈现融合前后在算子调度、运行时调度和硬件执行上的设备耗时差异。

  1. AWS Machine Learning Blog64

    在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 提升多语言推理能力

    AWS 团队在 Amazon SageMaker HyperPod 上用 SFT 和 GRPO 微调 GPT-OSS-20B,使模型能按指令以英语、法语、德语、西班牙语或意大利语进行推理和回答。

    推荐理由:文章提供从数据、LoRA 训练到评测的完整流程,并用 SFT 与 GRPO 对照给出按模型能力缺口选择微调方法的判断框架。

  1. Hacker News54

    推测解码为何能提升速度

    推测解码变快不是因为减少了每个 token 的工作,而是低批量时用更多总 FLOPs 填补 GPU 的空闲算力。小型草稿模型先提出一段 token,大模型在一次前向传播中并行验证,用同一序列的“深度”替代多序列的“广度”。

    推荐理由:文章以内存受限和计算受限作对照,解释低批量场景下推测解码用更多总 FLOPs 换取更快生成的原因。

  1. Hacker News32

    用 TypeScript 从零构建大语言模型的分章节指南

    《Building an LLM from Scratch in TypeScript》是一份在 Node.js 与 TypeScript 中从零搭建大语言模型的分章节指南,逐章覆盖数据集与 dataloader、注意力机制、Transformer block、GPT 与训练循环。

    推荐理由:原文逐章给出从注意力机制到训练循环的可运行实现路径,读者可以跟着把 Transformer 的每一层都搭起来。

  1. AWS Machine Learning Blog39

    Amazon SageMaker AI 上的 Mixture-of-Experts 模型 kernel 优化实践

    AWS 团队在 Amazon SageMaker AI 上公开三项 Mixture-of-Experts GPU kernel 优化,单项分别带来 2–4% 吞吐提升、10% 吞吐提升和 9% 首 token 时延下降。

    推荐理由:原文给出 Swap-AB 转置、Triton 后端路由与消除 JIT 重编译三种 MoE 推理优化手段及对应吞吐与时延数据,便于在同类推理栈中复用。

  1. Hacker News48

    如何用 LLM 构建自己的决策模型

    作者以 Qwen/Qwen3-1.7B 为例,演示通过约束解码把模型输出限制在固定选项(A-E),单次前向即可选出概率最高的答案;在 CommonsenseQA 随机样本上准确率为 0.5938,简单微调后提升到 0.6241。

    推荐理由:原文给出从约束解码到温度校准的完整代码与评测,读者可以照搬这套方法把任意 LLM 改成固定选项的决策模型。

  1. Hacker News43

    陶哲轩:数学家需要了解的 Lean 定理证明器——可靠性与 AI

    数学家陶哲轩在博客发表文章,面向数学同行介绍 Lean 定理证明器的可靠性问题,以及 AI 在形式化证明中的相关应用与思考。

    推荐理由:陶哲轩从数学家视角梳理 Lean 定理证明器的可靠性与 AI 相关要点,为读者提供形式化证明与自动证明的入门参照。

已经到底了