跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

490 条精选近 30 天 450 条共收录 562 条

更新

精选归档 · 第 16 页

10月21日周三第 301–320 条
  1. TechCrunch · AI77

    Google 开源 TorchTPU,加入 Amazon 挑战 Nvidia 的 AI 芯片优势

    Google 开源 TorchTPU,开发者通过简单配置可将现有 PyTorch AI 应用迁移到 TPU 和 Google Cloud,无需重写。Amazon 发布 TorchNeuron,可将应用迁移到 Trainium 和 AWS,并向 PyTorch 提交代码以将功能与 Nvidia 芯片解耦。

    推荐理由:文章对比 Google 和 Amazon 的 PyTorch 迁移方案,说明开发者无需重写应用即可切换到 TPU 或 Trainium。

  2. AWS Machine Learning Blog64

    在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 提升多语言推理能力

    AWS 团队在 Amazon SageMaker HyperPod 上用 SFT 和 GRPO 微调 GPT-OSS-20B,使模型能按指令以英语、法语、德语、西班牙语或意大利语进行推理和回答。

    推荐理由:文章提供从数据、LoRA 训练到评测的完整流程,并用 SFT 与 GRPO 对照给出按模型能力缺口选择微调方法的判断框架。

  3. Hacker News68

    Google 开源原生 PyTorch 后端 TorchTPU

    Google 开源 TorchTPU,这是一套面向 Google TPU 的原生 PyTorch 后端,可让用户在 TPU 设备上运行 PyTorch 模型和操作。

    推荐理由:仓库集中交代了后端能力、分布式训练支持、示例模型以及安装构建路径,便于读者评估 PyTorch 在 TPU 上的集成范围与落地成本。

  4. AWS Machine Learning Blog71

    使用 AWS Agent Registry 在运行时发现并调用 MCP 服务与智能体

    AWS Agent Registry 可让编排智能体在运行时搜索已批准、可发现的 MCP 服务、其他智能体和技能,并按描述符为当前请求实例化客户端。文中用 Python 样例实现“发现→实例化→执行”循环,覆盖仅 MCP、MCP+A2A 和语义匹配三类请求;Registry 只提供连接元数据,调用凭据由 Cognito OAuth 或 Boto3/IAM 单独处理。

    推荐理由:文章拆解了按请求发现、实例化并执行能力的完整链路,并给出审批、鉴权分离与观测实现,适合评估多工具智能体架构。

  5. MIT Technology Review35

    企业 AI 的新经济学:以有效业务结果衡量成本

    David Sydow 在由 HPE 制作的内容中提出,以每个有效业务结果的总成本衡量企业 AI 利用效率。材料对比自建栈、按需消费和集成私有 AI 平台,指出持续关键负载需通过调度、模型选择、GPU 分区和缓存管理控制闲置与浪费。

    推荐理由:文章以有效业务结果成本为框架对比三种企业部署路径,并结合 HPE Private Cloud AI 说明私有化运营的效率控制点。

10月20日周二
  1. Hacker News54

    推测解码为何能提升速度

    推测解码变快不是因为减少了每个 token 的工作,而是低批量时用更多总 FLOPs 填补 GPU 的空闲算力。小型草稿模型先提出一段 token,大模型在一次前向传播中并行验证,用同一序列的“深度”替代多序列的“广度”。

    推荐理由:文章以内存受限和计算受限作对照,解释低批量场景下推测解码用更多总 FLOPs 换取更快生成的原因。

  2. 36氪71

    DeepSeek 全面开源内部推理框架 DeepInfer

    DeepSeek 宣布在前期开源大模型、TileLang 编译工具及推理算子库的基础上,进一步将内部推理框架 DeepInfer 全面开源。基于 DeepInfer,DeepSeek 已实现 V4.1 Flash 高吞吐、低延迟的大规模推理服务,新模型的推理代码及后续优化也将在该框架上持续更新。

    推荐理由:DeepSeek 将内部推理框架 DeepInfer 全面开源,外部团队可在此基础上复现 V4.1 Flash 的高吞吐、低延迟推理能力,并跟踪后续模型更新。

  3. Hacker News48

    Vite+:面向 AI 智能体开发的工具链

    作者在四个项目中使用 Vite+ 的 `vp create`、`vp check`、`vp test`、`vp build` 命令,为 AI 智能体提供统一工作流,避免命令分散和 CI 行为不一致。

    推荐理由:作者把 Vite+ 的命令收敛成统一提示模板并给出 CI 从 4 分钟降到 50 秒的实测数据,方便读者直接套用到 AI 智能体工作流。

  4. 量子位40

    达摩院玄铁发布车规处理器E908A和自动驾驶产品路线图

    达摩院在RISC-V中国峰会上发布车规增强处理器玄铁E908A和面向自动驾驶、具身智能的处理器产品路线图。E908A是首款同时满足ASIL-B和ASIL-D标准的RISC-V CPU IP,单点安全度量SPFM首次超过90%;下一代C950A目标性能达到现有RISC-V车规产品的5倍。

    推荐理由:原文给出玄铁E908A车规IP与下一代C950A性能目标,便于评估RISC-V在车载领域相对X86和Arm的落地节奏

  5. Hacker News69

    去审查化开源模型如何携带后门

    Project Discovery 在 Qwen2.5-7B-Instruct 上植入 LoRA 后门,触发短语出现时 Codex CLI 会执行 curl 窃取项目 .env。

    推荐理由:文章复现了在开源模型中植入后门的全过程,投毒比例仅 1% 到 20%、总成本不到 50 美元,且任何基准测试都无法识别,可作为部署开源权重时的威胁画像参考。

  6. TechCrunch58

    Nscale 与 Anthropic 据报道洽谈第二笔 $45B 算力合作

    Nscale 与 Anthropic 据报道正洽谈又一笔 $45B 算力合作,距双方上一笔同等规模合作约一个月。消息人士提醒协议细节仍可能变动,这是 Anthropic 近期一系列大额算力交易中的一笔;双方目前均在推进 IPO,Nscale 拟议的 $30B 估值据报道遭遇投资者阻力。

    推荐理由:报道呈现了双方在约一个月内两度推进大额算力协议的节奏,读者可据此把握 Anthropic 近期算力投入的规模与频率。