跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

489 条精选近 30 天 450 条共收录 561 条

更新

精选归档 · 第 6 页

10月29日周四第 101–120 条
  1. The Decoder69

    OpenAI 在 DevDay Exchange 2026 预告 Dots 欧洲开放,聚焦开发者平台

    OpenAI 在 DevDay Exchange 2026 表示,AI 助手 Dots 预计将在几周内面向欧洲更广泛开放,欧洲经济区、瑞士和英国的 Personal Pro 账户目前仍无法使用,部分商业账户已可接入。

    推荐理由:文章将 Dots 的欧洲开放进度与 OpenAI 的平台战略并置,呈现基础设施和分发渠道如何加深开发者生态绑定。

10月28日周三
  1. Hacker News36

    AlpineBSD 公布基于 NetBSD 内核、基础系统与主仓库不含 LLM 输出的操作系统方案

    AlpineBSD 项目公开了基于 NetBSD 内核、用户空间受 Alpine Linux 启发的操作系统方案,其基础系统和主包仓库均不包含 LLM 输出。项目仍在开发中,暂未提供安装程序,仅有一份非常概括的安装指南,并提示 NetBSD 内核的硬件支持有限。系统采用 apk-tools、busybox 和 s6,并计划增加 OpenRC 作为替代初始化系统。

    推荐理由:文章对比了 AlpineBSD 与 NetBSD、Alpine Linux 的组件差异,并说明其基础系统和主包仓库不含 LLM 输出的设计取向。

  2. Hacker News83

    Cursor 发布 Agent SDK,支持以代码定义和部署智能体

    Cursor 正式发布 Agent SDK,允许团队以代码定义智能体,并使用 `agent-sdk deploy` 部署到 Cursor 基础设施。这套用于构建 Bugbot、安全审查智能体和 Rollouts 的框架可响应 GitHub、GitLab 或 Bitbucket 的 PR 事件,按策略评估、分派和批准更改,并支持专用智能体、并行子智能体、评估与事件回放。

    推荐理由:Agent SDK 把提示词、工具、连接和评估纳入版本控制,并提供部署与事件回放路径,团队可据此理解定制智能体工作流的落地方式。

  3. Hacker News65

    CaseCite 发布自托管法律 RAG 平台,对标获 500M 融资的 Harvey

    作者发布 CaseCite,一套可自托管的私有法律 RAG 研究平台,宣称对标获 500M 融资的 Harvey。它可导入律所文档,以语义检索结合 BM25 重排序回答问题并附内联引用,也支持合同审查与对比、起草、判例、法官信息和法律工具检索。

    推荐理由:项目同时交代功能范围、外部数据流、自托管部署与许可限制,可据此评估私有化法律 RAG 的数据边界和实施门槛。

  4. Hacker News54

    CircuitHub 公开 The Grid 工厂级机器人,在美国按需制造电路板

    CircuitHub 公开了位于马萨诸塞州的工厂级机器人 The Grid,它使用学习型模型、AI 智能体和经典优化器调度生产设备,按需制造电路板。以一块含 118 个元件的 4 层电机控制板为例,5 块连同元件寄往美国地址时,The Grid 报价 $630、4 天送达;深圳典型快单厂含运费和美国关税约 $465,中位交期 9 天。

    推荐理由:用同一块4层电机控制板的报价与交期作对比,具体呈现美国自动化制造在成本、关税和供应链上的取舍。

  5. 钛媒体60

    米哈游一周内投资铭芯启睿和九天睿芯,并退出脑机接口公司零唯一思

    米哈游一周内投资铭芯启睿和九天睿芯两家芯片公司,并退出持股49%的脑机接口公司零唯一思,资本配置呈现向AI产业链收拢的迹象。两笔投资分别涉及超4亿元A轮融资和半年累计融资10亿元,文章还将相关动作与《星布谷地》的AI NPC设计、10月22日开源的GameScaling系列模型及基础模型团队联系起来,讨论游戏产品线、模型和算力的布局。

    推荐理由:文章把芯片投资、新游管线与AI模型投入串联起来,梳理米哈游调整资本配置和产品多元化路径时面临的技术与成本约束。

  6. 36氪59

    天数智芯首次开放天垓300实机演示,单卡整体吞吐达H200的1.05倍

    天数智芯10月28日在上海首次开放天垓300实机演示,第三方实测折算单卡整体吞吐达H200的1.05倍。IXL144超节点集成144颗GPU,官方称为业界密度最高的单机柜GPU超节点;GPU+XPU异构部署AFD分离方案已跑通,推理延迟降低60%。

    推荐理由:给出天垓300的第三方折算吞吐、144 GPU 超节点密度和异构部署延迟数据,便于对照评估其工程表现。

  7. 钛媒体78

    史上最大 IPO 临门,腾讯、阿里、字节抢卡:Anthropic 和中国大厂一起为算力上头

    Anthropic 已提交 IPO 申请,腾讯、阿里、字节意向采购超 300 万张英伟达 RTX PRO 5500,潜在规模超 350 亿美元。文章认为复杂 AI 智能体任务中的多子智能体调用会放大推理消耗,Kimi K3.1 Pro 上线后出现限流和额度争议,Claude 用户社区也有类似反馈。

    推荐理由:文章把用户额度消耗、AI 智能体多步调用与芯片采购串成同一条推理算力链,并区分采购意向、实际交付与最终收入。

  8. 钛媒体69

    顶级大模型 API“时薪”正在超越不少打工人身价

    大模型之家以 Kimi K3.1 Pro 额度争议为切口,比较顶级模型 API 成本与人工时薪,指出复杂任务的模型费用可能高于普通员工数十小时的工资。文中计算,处理 100 万 Token 输入并生成 100 万 Token 输出,GPT-6 Astra 与 Claude Fable 5.1 各需 60 美元,Kimi K3.1 Pro 需 81 元,高速版为 162 元。

    推荐理由:文章把 API 标价、Token 消耗与人工时薪放在同一尺度上比较,并以 DeepSeek 的低价策略呈现企业采购从模型排名转向任务总成本的变化。

  9. HF Daily Papers47

    Prox:MoE 解码的通道选择无需校准数据

    Prox 用 top-k 通道选择替代依赖离线校准数据的阈值筛选,并提出完全由模型权重构建的 reader,以加速 MoE 推理。在 13% 和 18% 读取预算下的 43 组比较中,top-k 版本有 40 组匹配或超过阈值版本,其中 23 项生成任务比较均达到或更优,并避免 Gemma 4 上阈值筛选导致的重复循环崩溃。

    推荐理由:论文以 top-k 替代校准阈值,并在 3 个后训练 MoE 模型上对比读取比例、准确率与推理速度。

  10. 量子位51

    千里科技4D毫米波雷达实现端到端AI处理,支持三种工作模式

    千里科技在一颗4D毫米波雷达中引入端到端AI处理,从天线设计和波形生成延伸至点云检测、测角、增强、目标跟踪与分类,雷达内置10 TOPS NPU。相较上一代DSP端侧4D雷达,点云密度增强10倍、探测距离提升40%、鬼影消除提升至95%、空间角分辨力提升12倍。雷达支持边缘侧、卫星架构和兼容三种模式,可输出结构化感知结果、传输原始数据,或并行完成两类处理。

    推荐理由:文章拆解千里AI雷达的边缘、卫星与兼容三种架构,呈现模型如何减少规则依赖并改变雷达与中央域控的分工。

  11. 量子位63

    RoboParty 发布全栈开源人形机器人 RP1

    RoboParty 正式发布全栈开源人形机器人 RP1,开放机械图纸、电气系统、ROMOMO 关节、底层控制、仿真、训练和部署等资源。RP1 身高 135cm,提供 24 个和 30 个主动自由度的开源版与开源版 Pro,已展示连续行走、人体动作跟踪、扰动恢复和跌倒起身等真机能力。

    推荐理由:RP1公开从机械图纸到训练部署的多层资源,研究者可更直接定位控制与硬件偏差,并复用底层资源开展研发。

  12. 36氪67

    河南平顶山一家自闭症康复机构接入AI半年后辞退兼职督导

    河南平顶山一家特需儿童康复机构接入AI半年后,因系统可承担部分督导工作且成本更低,辞退了此前外聘的兼职督导。该机构新增每节80元的AI课程,约30%的家长报名;大米和小米称,其定制系统已用于近100家直营门店及300余家合作机构。据大米和小米提供的对照研究,三家第三方机构的65名儿童接受三个月干预后,AI介入组在社交互动、语言沟通、认知和模仿等五个领域的进步均优于普通干预组。

    推荐理由:机构半年落地案例结合企业提供的65名儿童对照研究,呈现AI督导在自闭症康复中的成本、课程与干预效果变化。

  13. Hacker News30

    Moxnox 1.0 发布:类 NT、兼容 POSIX 的操作系统运行于 Btrfs 之上

    Moxnox 1.0 发布,这是一款运行于 Btrfs 之上、借鉴 Windows NT 系统调用设计的 POSIX 兼容业余操作系统。项目约 130,000 行 C++,支持 amd64 与 aarch64,并具备自托管能力;作者称 AI 仅用于机械性移植和冒烟测试,Claude 主要用于审查提交。

    推荐理由:Moxnox 公开了 NT 与 POSIX 兼容边界、缺失功能、QEMU 启动和构建步骤,便于判断其自托管可行性及使用边界。

  14. 36氪71

    8点1氪:iPhone Duo内屏开裂可免费换机,A股仅剩贵州茅台一只千元股,外交部回应姆巴佩遭多品牌解约

    36氪“8点1氪”在10月28日汇总iPhone Duo内屏开裂免费换机、A股千元股变化、姆巴佩代言解约回应及多项AI进展。OpenAI发布GPT-6.1 Terra,提升视觉推理与计算机操作,标准API价格较GPT-5.6 Terra和GPT-6.1 Sol低50%;Google DeepMind以研究预览形式发布Genie 4,支持提示改变场景并生成匹配模拟世界的实时音频。

    推荐理由:将iPhone Duo换机、A股千元股变化、姆巴佩代言解约及多家公司的AI模型进展并排整理,便于对照消费、资本市场和模型发布三类信号。

  15. 36氪42

    Snowflake AI 数据云将作为 OCI 原生服务提供

    甲骨文与 Snowflake 宣布,Snowflake AI 数据云将作为原生第一方服务在 OCI 上提供。客户可直接通过甲骨文购买和配置该服务,享受统一定价与计费,并可使用 Oracle Universal Credits 消费。

    推荐理由:这项扩展将 Snowflake AI 数据云纳入 OCI 的原生购买与计费体系,提供了客户采购路径和消费方式的具体变化。

  16. 36氪76

    英伟达与甲骨文扩大 AI 基础设施合作,OCI Vera Rubin 超级集群将达数吉瓦级

    英伟达与甲骨文宣布扩大 AI 基础设施合作,将把 OCI 中搭载 Vera Rubin NVL72 系统的超级集群扩展至数吉瓦级。双方将正式提供 Vera Rubin NVL72 系统和 Vera CPU 云服务,甲骨文还计划推出搭载 8 颗 Rubin GPU 的 HGX Rubin NVL8 系统,支持前沿模型训练、推理及智能体应用。

    推荐理由:原文交代了扩展后的部署规模、系统形态和服务范围,便于理解吉瓦级 AI 基础设施如何覆盖训练、推理与智能体负载。

  17. 36氪67

    甲骨文将于2027年在 OCI 提供谷歌 TPU

    甲骨文与谷歌宣布,谷歌 TPU 将接入甲骨文云基础设施 OCI,甲骨文将成为谷歌之外首家提供谷歌 TPU 的超大规模云服务商。该服务预计于2027年推出,并在多年内逐步扩大规模,支持大模型训练、推理和智能体应用。谷歌第八代 TPU 包括面向训练的 TPU 8t 和面向推理的 TPU 8i。

    推荐理由:甲骨文接入谷歌 TPU 的安排覆盖推出时间、扩容节奏和训练推理硬件分工,可用于比较云端 AI 算力供给方式。

  18. 36氪56

    甲骨文将于2027年上半年起在AI云服务中部署Cerebras计算机

    甲骨文将在其数据中心提供基于Cerebras计算机的云服务,并从2027年上半年开始部署相关设备。这使Cerebras新增甲骨文这一客户;该公司采用巨型芯片设计,将通常用于制造多颗处理器的整片硅晶圆用于单个芯片,并称产品能以远快于竞争对手的速度为AI查询生成有效结果。

    推荐理由:甲骨文将在2027年上半年部署Cerebras设备,展示了专用AI计算硬件进入云服务商基础设施的商业落地进展。