跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

490 条精选近 30 天 450 条共收录 562 条

更新

精选归档 · 第 15 页

10月21日周三第 281–300 条
  1. 36氪60

    英伟达升级 Isaac 机器人平台,推出人形机器人参考框架与仿真工具

    英伟达升级 Isaac 通用机器人开发平台,推出人形机器人参考框架、仿真工作流和数据工具。更新覆盖机器人训练、仿真验证和部署流程,开发者可利用合成数据和仿真环境训练机器人,并在实际部署前验证机器人行为。

    推荐理由:更新覆盖机器人训练、仿真验证和部署,并提供人形机器人参考框架、仿真工作流和数据工具,帮助开发者用合成数据训练并在部署前验证行为。

  2. 36氪51

    英伟达推出 Halos SAFE 自动驾驶安全评估框架,奔驰与沃尔沃布局 L3/L4

    英伟达推出 Halos SAFE 自动驾驶安全评估框架,将仿真、软硬件在环测试、道路测试和车队监测纳入统一评估流程。框架通过标准化场景、测试及量化指标生成可追溯的安全验证证据,支持自动驾驶系统开发与部署。

    推荐理由:Halos SAFE 将仿真、软硬件在环、道路测试和车队监测纳入统一流程,便于理解自动驾驶安全验证的标准化方法。

  3. 36氪33

    黄仁勋称未来电信运营商都将提供AI算力

    10月21日,英伟达首席执行官黄仁勋在柏林举行的GTC大会上表示,未来所有电信运营商都将提供AI算力,电信基站有望发展为分布式AI网络。他把AI经济分为能源、算力、AI工厂、模型和应用五层,并指出建设一座1吉瓦数据中心的成本目前约为500亿美元,涵盖土地、电力、建筑、计算设备、存储和冷却等费用。

    推荐理由:黄仁勋以五层蛋糕拆解AI经济,并给出1吉瓦数据中心约500亿美元的成本参照,便于理解算力基础设施的产业分工与投入规模。

  4. 36氪51

    英伟达推出 DSX POD 模块化 AI 工厂方案,部署时间可从 6 个月缩短至 14 天

    英伟达推出 DSX POD 参考设计,可将准备就绪场地的 AI 工厂部署时间从 6 个月缩短至最快 14 天。该方案基于 Vera Rubin 系统,将完整 AI 工厂集成至模块化集装箱,并在交付前完成系统集成与验证。英伟达正与戴尔科技、慧与科技、联想、施耐德电气、维谛技术合作,计划于 2027 年初在全球交付相关模块化 AI 工厂。

    推荐理由:参考设计将系统集成与验证前置,用 6 个月缩短至最快 14 天的数据对比呈现模块化方案价值,文中还给出合作伙伴交付计划。

  5. 36氪40

    英伟达称 DSX AI 工厂平台可将冷却用水降至近零,同等算力最多节电 30%

    英伟达 10月21日宣布,欧洲多家云服务商及基础设施企业正在采用 DSX AI 工厂平台,以降低数据中心冷却用水和电力消耗,并加快算力设施部署。英伟达称,该平台通过闭环液冷与干式冷却器排热,在 2 吉瓦规模下每天可节水 5400万升,相当于 18万户家庭的日用水量;DSX MaxLPS 软件在生成相同数量的 AI token 时最多减少 30% 的用电量。

    推荐理由:材料同时给出欧洲云服务商采用情况、冷却架构及 2 吉瓦规模下的节水节电数据,便于比较 AI 数据中心的能效表现。

  6. NVIDIA Blog65

    黄仁勋 GTC Berlin 2026 主题演讲汇总:DSX POD、OpenShell 等多款产品发布

    NVIDIA CEO 黄仁勋在 GTC Berlin 2026 主题演讲中发布 DSX POD AI 工厂参考设计(部署周期从六个月压缩到 14 天)、OpenShell Reference Architecture 智能体安全架构。

    推荐理由:黄仁勋在演讲中串联 AI 工厂、智能体安全、开源模型与具身智能,给出 NVIDIA 在欧洲市场的全栈路径与新产品布局。

  7. 36氪58

    百度搭子与联想开天推出首款全栈国产通用智能体AI工作站

    百度搭子与联想开天推出首款全栈国产通用智能体AI工作站,全面适配国产信创并上架联想开天天禧商店、麒麟软件商店、统信软件应用商店。该工作站整合联想开天硬件、天禧AI Pro底座与百度搭子,支持银河麒麟、统信操作系统,适配海光BW100、天数智芯智凯100等国产GPU,预装模型与运行环境实现开箱即用。

    推荐理由:原文给出全栈国产智能体工作站的硬件适配与上架渠道信息,读者可以据此了解它在国产信创生态里的落地路径。

  8. Latent Space76

    DeepSeek 开源 DeepInfer 推理框架,披露单集群 155T tokens/日服务量

    DeepSeek 开源生产推理框架 DeepInfer,并披露其支撑 V4.1 Flash 的单集群 155T tokens/日、96% 输入缓存命中率等数据。

    推荐理由:文章对照 DeepInfer 与 vLLM 的复现结果,并拆解缓存命中率、硬件成本与收入口径,帮助读者区分生产服务能力、推理贡献利润和公司整体利润。

  9. Hacker News60

    Alter (YC S25) 推出面向多用户 AI 智能体的访问控制平台

    Alter (YC S25) 推出面向多用户 AI 智能体的访问控制平台 Alter Vault,主张为每个智能体分配独立密钥和细粒度授权策略,并对每一次调用进行身份核验、范围检查与审计记录。产品覆盖 140 家第三方服务,提供 LangChain、MCP 与 AWS 集成,原始凭证仅存于独立 Vault 并默认 fail-closed 拒绝,SOC 2 合规正在进行中。

    推荐理由:Alter 为多用户 AI 智能体引入独立密钥与逐次授权审计,给正在搭建多智能体系统的团队提供了可直接借鉴的访问控制与合规审计模式。

  10. Hacker News64

    Anthropic 用 Claude 分析并缩减代码攻击面

    Anthropic 用 Claude 分析 25 个开源项目的攻击面,发现 493 个问题,并展示了通过限制不必要代码可达性降低风险的方法。在 OpenSSH 10.4 的默认配置中,约 4,500 行 ML-DSA-44 代码可被未认证客户端触及;维护者在 10.6 发布的修复移除了默认构建中约五分之一此前可达的代码。

    推荐理由:在25个大型开源项目上,Claude通过三轮分析和动态轨迹核验每项发现,并展示如何用测试确保默认行为不变。

  11. 钛媒体58

    掉队的苹果开始限量供应AI

    苹果执行董事长库克透露,国行 Apple Intelligence 将于 10 月底启动测试,苹果首次把 AI 定义为限量商品。端侧旗舰 AFM 3 Core Advanced 为 200 亿参数稀疏架构,云端跑在 Google 服务器上,是苹果首次把 AI 计算放到第三方云;国行合作方为阿里(Qwen 与通义万相)和百度(搜索与 Siri)。

    推荐理由:苹果用供应链思路管理 AI 模型供给,把限量与付费策略推到用户端,这是一条与超大规模云商烧钱扩算力截然不同的路径。

  12. Hacker News68

    Nexus-CLI 开源纯 Go 桥接工具,支持 DeepSeek R1/V3、Claude Code 和 Ollama

    Nexus-CLI 以纯 Go 构建 DeepSeek V3 与 R1 网页桥接,可供应用和编码智能体通过免费账号使用,无需官方付费 API key。它提供交互式终端、本地代理及 OpenAI、Anthropic Messages、OpenAI Responses 和 Ollama API 兼容层,可接入 Claude Code、Codex、Cursor 等工具。

    推荐理由:原文集中列出兼容接口、性能数据、构建命令和多工具接入路径,可用于评估接入 DeepSeek 所需的改动。

  13. Latent Space64

    Tenex 如何为 Fortune 2000 构建 AI 原生 SDLC

    Tenex 以结果导向薪酬、MetaHarness 和智能体工作流构建 AI 原生 SDLC,客户覆盖 Fortune 2000 与中型企业。其 75 人团队把计划、决策和代码记录在 Git 中,Alex 称工程师产出较去年约翻倍。原文链接 https://www.latent.space/p/tenex

    推荐理由:文章把 Tenex 的结果导向薪酬、Git 项目记录与智能体工作流放在同一研发流程中,呈现模型提升产出后非编码工作如何被纳入评价。

  14. 钛媒体37

    芯片产能不再是最大挑战,AI集群互连成为关键瓶颈

    芯片产能不再是制约AI算力发展的最大障碍,网络互连已成为大规模集群释放算力的关键瓶颈。中国信通院数据显示,大规模分布式训练的网络通信耗时占比高达30%到50%;受访企业称,集群真正释放的算力多数不超过50%,部分可达60%到70%。众星微日前发布三款互连芯片产品;面向800G演进,文中给出协议硬件化、将PCIe Switch集成进网卡、兼容IB与以太网三条路径。

    推荐理由:文章对比芯片产能与网络互连两类约束,结合通信耗时、集群利用率和800G工程难点,解释GPU充足时集群仍跑不满的原因。

  15. 钛媒体57

    四足机器人从跳舞到巡检,芯片需求走向分散化

    IDC数据显示2026年上半年全球四足机器人出货突破4.9万台,同比增长92.5%;应用从展厅表演走向变电站巡检,芯片需求相应由集中式SoC转向MCU、传感器接口等多品类分散式架构。兆易创新、辉羲智能、地瓜机器人等以芯片+工具链+参考设计的整体方案参与竞争,但功能安全认证和工具链成熟度仍是国内厂商的短期补齐重点。

    推荐理由:对比消费级与工业级四足机器人芯片架构差异,指出工具链与功能安全认证是国产芯片进入这轮机器人增量的关键门槛。

  16. MIT Technology Review51

    Astrolab 即将登月的 FLIP 月球车将首次在月面运行大语言模型

    Astrolab 计划最早于 2026 年 11 月将 480 千克的 FLIP 月球车送往月球,HPE Spaceborne-4 计算机将首次在月面运行定制大语言模型。模型将分析车载摄像头和激光雷达 3D 测绘数据,辅助安全导航并提炼信息,减少月球车需要传回地球的数据量。为应对月面辐射,HPE 通过软件监测带电宇宙粒子造成的异常,并在辐射峰值时降低计算机功耗和速度。

    推荐理由:文章把地月通信延迟、月面极端环境与 Spaceborne-4 的软件和硬件防护放在一起,呈现本地运行大语言模型的具体任务、部署条件与现实约束。

  17. The Decoder73

    DeepSeek 开源推理引擎 DeepInfer,驱动 V4.1-Flash 模型

    DeepSeek 以 Apache 2.0 协议开源了内部推理框架 DeepInfer,它基于 vLLM 构建并加入计算优化内核、多芯片分布式处理和更快文本生成,为 V4.1-Flash 模型提供推理服务。

    推荐理由:原文同时说明了 DeepInfer 的技术栈和开源后的部署成本变化,便于评估自托管方案的可行性与定价影响。