技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
489 条精选近 30 天 450 条共收录 561 条
Intel 在产品页中介绍 D270 数据中心 GPU，面向智能体 AI 推理，单卡最高 480 GB LPDDR5X。该卡功耗 350W、风冷散热，采用标准 PCIe 5.0 形态，配备 32 个 Xᵉ3P 核心与 256 个 XMX 矩阵引擎，不依赖 HBM。配套软件提到 PyTorch、vLLM、SGLang 与 OpenAI Triton 等开源推理框架。
推荐理由：原文给出 480 GB LPDDR5X、350W 风冷与 PCIe 5.0 等具体规格，把产品定位为面向智能体推理的方案，可对照 HBM 类推理硬件阅读。
英伟达与思科联合推出新型可插拔光模块外形规格 USFP（超密小型可插拔），单模块容量最高可达 12.8Tb/s，旨在扩展 AI 工厂的网络规模。USFP 支持每通道 400Gb/s 电信号，是首个实现该速率的可插拔模块，相比现有 200Gb/s-per-lane 光模块带宽密度提升 4 倍、能效提升 1.3 倍，可在不增加网络层级的前提下连接更多计算系统。
推荐理由：原文给出 USFP 模块的每通道带宽与能效提升数据，并与现有 200Gb/s 光模块对比，可作为 AI 工厂网络扩展的硬件规格参考。
微软表示将在数据中心部署总规模达数吉瓦的 Maia 芯片，最新一代 Maia 300 将于明年开始部署。这类芯片专为 AI 推理而设计，例如总结电话会议内容或回答研究问题，目标是让微软 AI 软件主要依靠自家硬件提供算力。
推荐理由：微软给出 Maia 芯片的部署规模与时间表，可对照其减少对外部算力依赖的实际节奏。
EdgeWise 是一个边云协作框架，本地端用小语言模型作为主求解器，通过逐步级强化学习把关键步骤选择性委派给云端大语言模型，无需在推理时引入额外模型。在 SWE-Rebench 和 Terminal-Bench 2.1 上，EdgeWise 性能与全程使用云端大模型相当或更优，同时推理成本最多降低 62% 和 34%。
推荐理由：在长程智能体任务上提出边云协作框架与逐步级强化学习委派策略，并给出关键设计选择的系统实验数据，可作为同类成本优化方案的设计参考。
Amazon Bedrock 在新加坡、雅加达、马来西亚、泰国、台北五个亚太源区域上线 OpenAI GPT-6 Sol 和 Luna 的全球跨区域推理，GPT-6 Astra 仅从新加坡可用。
推荐理由：给出了在五个亚太区域接入 OpenAI GPT-6 的 IAM、SCP、配额与监控配置，可直接作为企业部署参考。
Agent37 推出 agent 沙箱服务，定价不到主流沙箱商的 10%，平均 $0.37/月 每沙箱。文章分享的压低成本的三个做法包括观察 agent harness 的 CPU/RAM 突发模式以提升利用率、跳过超大规模云厂商转用 Hetzner 和 OVH，以及通过 gVisor 在宿主机间缓存和共享资源。
推荐理由：原文给出了压低 agent 沙箱成本的三项做法，包括避开超大规模云厂商与 gVisor 共享资源，对自部署 agent 基础设施的读者有直接借鉴价值。
AWS 博客演示如何用 Ray LLM 深度学习容器在 Amazon EKS 上跨两个 GPU 节点部署 Qwen3.5-9B 的预填充/解码分离推理，并对外暴露单一 OpenAI 兼容端点。
推荐理由：原文把 Ray LLM DLC 部署多节点预填充/解码分离推理的全过程写成 YAML 与脚本，读者可以直接复用到自己的 Amazon EKS 集群。
AWS 在 Amazon SageMaker AI 上提供基于 llama.cpp 容器的决策模型部署方案，支持 CPU 与 GPU 实例的文本生成与 SemIf 结构化决策两条路径。
推荐理由：原文给出 CPU 与 GPU 部署路径、延迟对比与 SemIf 扩展方法，读者可据此选择适配自身负载的实例类型。
Microsoft 发布第三代 AI 加速芯片 Azure Maia 300 的架构细节，定位为面向云端智能体推理的系统级方案。
推荐理由：原文逐项列出 Maia 300 相对 Maia 200 的吞吐、带宽与能效提升，以及面向长上下文推理的架构调整，可作为同类 AI 加速器评估的参考点。
NVIDIA 在 OCP 峰会向社区贡献 Vera Rubin 机架与计算模组设计，并联合多家超大规模厂商发布 AI 工厂开放标准。DSX AI Factory 新增四款开源组件，覆盖网络配置、集群验证、硬件管理与裸机部署。
推荐理由：在多家合作方推动下，Vera Rubin 与 DSX 的开放规格集中落地，能让读者看清当前 AI 工厂生态的形态。
行云科技公告，全资子公司深圳行云与VB客户重新签订《算力服务协议》及《补充协议》，解除原合同，新合同含税总金额上调至33.57亿元，较原合同提升约9.96%，较初始合同金额10.14亿元增加231.13%；服务期限不变，合作规模为256个单元，若顺利实施预计对公司未来经营业绩产生一定影响。
推荐理由：行云科技与客户连续上调算力服务合同金额，并给出当前合作单元数与累计涨幅，为观察国内算力服务合同规模提供一个具体样本。
Hetzner 推出新款 GPU 服务器 GEX63，面向专业 AI 工作负载。原文未提供具体规格、定价或上线时间等细节。
HackerRank 推出智能体面试产品 Chakra，让候选人在真实代码仓库中借助 AI 工具完成实际任务，并接受方案选择、改进方向以及对 AI 生成代码验证等追问，把考核重点从传统算法题转向 AI 协作与判断能力。
推荐理由：对比传统 LeetCode 式算法面试与 Chakra 的智能体评估方式，可看到 AI 时代技术招聘的考核重心正从代码结果转向 AI 协作与判断能力。
Doory 是一款浏览器内运行的开源设计编辑器，主打免费、无需账号即可使用，并支持 Docker Compose 一键自托管。它提供图层、蒙版、滤镜、动画、视频导出、实时协作和浏览器内背景去除等功能，导出格式覆盖 PNG、JPG、SVG、PDF、MP4 与 GIF。
推荐理由：把 Canva 的核心编辑器能力完整做成可自托管的开源项目，读者可以据此评估替代 Canva 的可行路径。
天数智芯在2026工博会正式推出天垓300 IXL144单机柜超节点方案，单柜集成144颗GPU与18颗CPU。该方案通过整柜高带宽互联构建统一内存语义算力域，兼容CUDA等AI生态以复用已有模型和框架；据测算，每百万有效Token成本较国际主流方案可降低40%。
推荐理由：原文给出144颗GPU的单柜密度与每百万Token成本降幅，可作为对比主流方案时的一个具体参照。
量子位综合WSJ与SemiAnalysis等报道指出，硅谷头部AI公司已把算力视为决定模型、人才与商业进展的关键资源。
推荐理由：文章把多家头部AI公司围绕GPU的明争暗斗放在同一框架下，帮助读者看清算力如何成为模型进展与商业化的硬约束。
作者用一组演示参数对比两条 3D 堆叠键合路线：在两层裸片良率各 85%、键合通过率 98% 等假设下，逐颗挑选再贴装（D2W）的合格堆叠芯片单颗成本约 98.98 美元，比整片对整片键合（W2W）的 107.97 美元低约 8.3%，D2W 单次贴装成本涨到约 16.72 美元时两路线打平。
推荐理由：用具体参数对比两种键合路线的成本结构，读者可以据此判断厂商公布的良率与成本说法可不可靠。
Veda 是一个用 Rust 从零写成的开源操作系统，把 AI 智能体作为系统一等用户而非桌面外挂。
推荐理由：把智能体作为系统一等用户而非桌面外挂，给出了原生权限分级、可见性、记忆管理与语音优先的系统级设计参考
AI 算力高密度化推动液冷从机房配套升级为底层基础设施，2026年液冷订单已排至2027年，部分企业营收增速超过400%。冷板式与浸没式两条技术路线在头部客户中并行测试、长期共存，定制化工程交付能力与头部客户供应链认证已成为真正的竞争门槛。
推荐理由：原文梳理了液冷从机房配套跃升为高密度算力基础设施的逻辑，对比了冷板与浸没路线的落地边界，指出工程交付能力才是穿越周期的关键。
Inspired Entertainment 借助 Google Antigravity CLI（此前为 Gemini CLI）将博彩运营商钱包 API 适配器开发从 6-8 周压缩到 1 周，手工工程量从 40 dev days 降至 5 AI-orchestrated dev days，单次集成所需团队从 5 人减至 2 人。
推荐理由：原文给出 8 周压到 1 周的具体数字与工具栈，可供评估自家 API 适配器场景的迁移路径。