跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

484 条精选近 30 天 445 条共收录 556 条

更新

精选归档 · 第 3 页

10月31日周六第 41–60 条
  1. AWS Machine Learning Blog60

    Worldwide Express 如何利用 Amazon Bedrock 自动化货运账单异常处理

    Worldwide Express 与 AWS、LTM 构建了基于 Amazon Bedrock 的多智能体方案,自动分派并处理承运商账单异常。三个智能体分别处理发票匹配、定价差异和附加费验证,调用承运商知识库并通过 API 接入 TMS SpeedShip,早期保留人工审批。

    推荐理由:案例给出了多智能体接入业务系统、检索承运商规则并设置人工审批的落地路径,同时披露异常处理效率和财务收益。

  2. Hacker News73

    spinf-serve 发布用于批量评分与决策的开源推理服务器

    spinf-serve 发布了一款用于批量评分与决策的开源推理服务器,可让每份内容只读取一次,并在同一次前向传播中处理多个问题。它运行在单张 24 GB NVIDIA GPU 上,提供 OpenAI 兼容 API,并针对固定选项返回概率、对数概率和空内容基线。

    推荐理由:文章提供单张 RTX 4090 上与 vLLM 0.26 的吞吐对比,并解释多问题分支打包与概率评分机制,便于判断批量决策场景的性能取舍。

  3. TechCrunch52

    Google 首颗 Suncatcher 空间数据中心原型卫星上线并用 Gemma 4 写诗

    Google 的首颗 Suncatcher 空间数据中心原型卫星已完成约三周调试并上线,与地面通信,机上预载的 Gemma 4 生成了太空主题俳句。卫星搭载单颗 Google TPU,发电功率最高 1 kW,推理任务每次只能运行约 20 分钟。后续测试将考察热应力和太空辐射对芯片的影响;若芯片验证可行,Google 计划于 2027 年再发射两颗卫星,测试更高发电功率和星间光互链。

    推荐理由:提供了首颗空间数据中心卫星的实际运行细节,并交代 TPU 功耗、辐射测试与后续组网计划,便于理解该原型的工程边界。

  4. Hacker News70

    Tangled 联邦式代码托管:自托管架构与协作能力更新

    Tangled 发布联邦式代码托管平台更新,以 Svelte 重做前端,并部署 Rust 编写的只读内存索引器 bobbin,覆盖 11+ 个全球区域。knot2 用 Rust 重写并在同一二进制中内置自定义 Git 与 SSH 服务,将问题、拉取请求、评论等协作对象存到仓库内,同时加入组织账户和堆叠式 PR。私有仓库、CLI、多语言 SDK 和 AI 智能体技能将在随后数周分批推出。

    推荐理由:新版本允许仅自托管 Git 或 CI 等组件,并把问题与拉取请求随代码存放,为代码协作提供了更灵活的部署与迁移方式。

  5. Hacker News81

    开源项目 nesformer 用约 1GB Qwen3.5 权重运行 NES 6502 CPU

    开源项目 nesformer 将 NES 的6502 CPU、2 KB工作RAM和卡带ROM编译进Qwen3.5架构的模型权重,让模型逐token预测CPU执行日志并驱动游戏运行。权重未经训练,由编译器计算,466.6M参数的bf16检查点占933 MB,Gated DeltaNet状态用作机器内存。随附测试游戏的每一帧都与传统6502模拟器一致,但目前仅支持NROM卡带且没有声音。

    推荐理由:nesformer 将6502 CPU编译进Qwen3.5权重,通过逐token执行日志与逐帧匹配验证,展示了以DeltaNet状态充当机器内存的实现路径。

  6. Hacker News47

    AI 不会取代 SRE,却可能让 SRE 的技能退化

    SigNoz 在 newsletter 中提出,AI 接管大量 SRE 日常和事故响应工作后,SRE 可能因缺少实操而逐渐丧失处理罕见复杂故障的能力。文章以 Lisanne Bainbridge 的 1983 年论文 Ironies of Automation 为框架,并引用内镜医生无 AI 辅助时检出率从 28% 降至 22%等案例,进一步讨论技能退化与从未形成技能的问题。

    推荐理由:文章借自动化悖论和医疗、航空案例说明 SRE 技能退化风险,并提出保留人工实操与深度参与两类做法。

10月30日周五
  1. Google DeepMind48

    Google DeepMind 将 PlanAssist 扩展至 15 个英格兰地方规划委员会

    Google DeepMind 将把 AI 规划工具 PlanAssist 提供给英格兰另外 12 个地方规划委员会,参与总数增至 15 个,并在 12 个月 Beta 阶段使用真实申请测试。

    推荐理由:早期试点显示单件申请评估时间最多减少58%,超过70%的工具报告无需修改获批,为公共审批自动化的效果与人工复核边界提供了具体参照。

  2. 36氪47

    科翔股份拟投资35亿元建设年产50万㎡ AI算力印制电路板项目

    科翔股份及全资子公司广东科翔智算科技有限公司拟投资35亿元,在惠州大亚湾建设年产50万㎡ AI算力印制电路板项目。项目总用地面积约18.4万平方米,其中固定资产投资30亿元,建成达产后年产值45亿元、年纳税2.21亿元。项目将在土地交付之日起3个月内动工,动工后18个月内竣工、24个月内投产。

    推荐理由:项目披露了AI算力PCB扩产的资本开支、规划产能与建设周期,可用于对照算力硬件供给的扩张节奏。

  3. 钛媒体60

    润泽科技AIDC收入同比增126.2%,股价年内近乎腰斩

    创业最前线分析润泽科技的算力租赁扩张,2026年上半年AIDC收入接近20亿元、同比增长126.2%,已超过传统IDC业务。前三季度营收56.66亿元、同比增长42.45%,扣非归母净利润17.99亿元、同比增长32.97%;截至10月29日收盘,股价较年内高点近乎腰斩。

    推荐理由:通过对比业务增长与股价表现,文章拆解润泽科技算力租赁扩张中的客户集中、杠杆压力及产能错配风险。

  4. 36氪52

    现代汽车集团计划下月成立两家SPC开发AI数据中心

    现代汽车集团计划下月成立两家特殊目的公司(SPC),用于开发AI数据中心。其中一家负责数据中心建设与基础设施开发,另一家负责GPU相关服务;现代汽车、起亚、现代摩比斯、现代工程建设及现代AutoEver将参与投资。项目计划于2027年3月在首尔西南约200公里处的群山(Gunsan)新万金(Saemangeum)填海区动工,目标在2030年初投入商业运营。

    推荐理由:现代汽车集团以两家特殊目的公司拆分建设与GPU服务职责,并给出建设及商业运营时间线,便于理解其AI基础设施扩张路径。

  5. 量子位63

    清华大学联合无问芯穹、智元提出 CEL 群体经验学习范式并在96台真实机器人上验证

    清华大学、无问芯穹与智元近日联合提出群体经验学习(CEL)范式,并在96台真实机器人组成的集群中完成规模化验证。在插花、叠衣服、手机充电、凳子组装和手机包装五项任务中,两台未参加训练的机器人完成600次测试,仅失败15次,总体成功率97.5%,五项任务成功率均超过6名人类操作员平均水平。

    推荐理由:材料通过600次真实机器人测试,以及训练规模从16台增至96台时的成功率变化,呈现群体经验复用对任务表现和规模化部署的影响。

  6. 钛媒体64

    企业“戴 AI 帽子”背后,规模化落地受流程与组织约束

    文章指出,企业正把 AI 当作身份标签和采购项目,但多数试点尚未转化为财务回报、规模化价值或组织转型。文章引述德勤中国 2026 年 10 月调研称,92% 的企业已开展 AI 应用试点,8% 获得财务和战略收益,4% 完成组织级转型;日照钢铁、友达光电等案例则显示,AI 嵌入具体流程、数据和岗位后更容易形成结果。

    推荐理由:文章以多项企业案例和调研数字作对照,拆解流程、数据与组织准备对 AI 规模化落地的具体制约。

  7. 钛媒体67

    OpenAI健康板块负责人Karan Singhal谈AI医疗健康的上限与下限

    OpenAI健康板块负责人Karan Singhal提出,AI医疗应成为贯穿诊前、诊中、诊后的健康助手和临床安全网,而非取代医生。他表示,每周已有超过3亿人使用ChatGPT询问健康问题,OpenAI正结合通用模型迭代与医疗专业训练,探索主动式个人健康助手,并与Epic等系统合作接入工作流。

    推荐理由:文章从患者端、医生端和研发端切入,梳理医疗AI的能力设想、工作流接入方式,以及信任、安全与规模化落地约束。

  8. 钛媒体66

    智元创新日提出 Worken 有效智能工时,探索机器人按生产力计费

    智元在创新日提出 Worken(有效智能工时)指标,以活跃机器人数量、自主工作时长和产出效能比衡量机器人实际生产力,并探索按 Worken 计费的机器人服务模式。

    推荐理由:Worken把机器人制造数量转换为有效工时与产出,为评估机器人商业价值和设计计费方式提供了可操作框架。

  9. 钛媒体79

    谷歌股价暴跌、亚马逊自由现金流转负、微软发债,AI基建竞赛进入分水岭

    微软、谷歌与亚马逊的财报呈现AI基建竞赛分水岭,云订单与收入激增,但资本开支、现金流和股价表现明显分化。AWS、Azure和谷歌云收入同比分别增长39.3%、48%和超过一倍,亚马逊过去12个月自由现金流净流出423.6亿美元,微软启动至少250亿美元发债计划,Alphabet股价次日重挫12.64%。

    推荐理由:AWS、Azure和谷歌云的订单与现金流对比,呈现AI基建扩张中收入增长与资金压力并存的行业分化。

  10. 36氪26

    算力扩容提速下AIDC基建转向能效与协同

    国内AIDC产业正从规模扩张转向比拼能效、速度与协同,液冷被视为破解散热与能效难题的核心抓手。在近日举行的2026国际(武汉)智能建造产业博览会上,业内人士称算力需求快速增长,电力约束、交付周期和技术迭代等问题集中显现。随着标准统一与全产业链协同推进,液冷技术有望规模化落地。

    推荐理由:文章以2026国际(武汉)智能建造产业博览会为背景,解释AIDC在电力与交付约束下转向能效、速度和协同,并聚焦液冷落地。