赛意信息与W公司签订3.15亿元算力组网服务合同
赛意信息公告，近日与W公司签订《算力组网服务合同》，由公司向W公司提供与算力服务相配套的算力组网服务，合同含税总金额为人民币3.15亿元。本次合同签订后，公司与W公司就上述算力服务事项签署的合同含税总金额由67.2亿元调整为70.35亿元（税率6%）。
推荐理由：公告披露了算力组网服务合同的金额与累计合同规模的调整，可供了解企业级算力服务订单的实际体量。
技术方向
部署工程 最新动态
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
490 条精选近 30 天 450 条共收录 562 条
更新
精选归档 · 第 18 页
36氪精选AI 评分3434 Hacker News精选AI 评分6565 Strot：编译 LLM 意图一次，本地永久运行决策
Strot 是一款开源工具，可让用户用 LLM 编译一次意图，之后在本地用 144M 模型对每条记录做分类、评分或路由，输出附带概率和置信度的类型安全 JSON。
推荐理由：把一次性 LLM 意图编译成本地决策模型，自带公开评测和 Docker 复现脚本，适合评估离线推理在延迟和成本上的可迁移收益。
Hacker News精选AI 评分2828 不自己跑 LLM 代理，怎么知道到底发生了什么
作者主张只有自托管 LLM 代理，才能看清模型调用中的流量与行为，否则只能依赖外部服务的转述。
推荐理由：原文把自托管 LLM 代理当作观测模型流量的前置条件，读者可以据此对照现有工作流，决定是否要在自己环境里加这一层。
HF Daily Papers精选AI 评分4848 扩散语言模型在不同任务和语言中的解码速度研究
一项分析两个扩散语言模型、覆盖10项任务的研究发现，每个token所需的前向传播次数高度依赖任务，开放式写作成本高于复制或轻量编辑。在 DiffusionGemma 中，故事写作每个token需要超过语法纠错3倍的前向传播，输出相对输入的新颖度与词汇在任务中的稀有度解释了大部分差异。
推荐理由：研究量化了任务、语言和答案正确性对解码成本的影响，并给出按解码速度加权候选答案的低成本方法。
Simon Willison精选AI 评分3434 llm-echo 调试插件发布 0.5 版本，模拟 token 用量纳入工具调用与推理 token
Simon Willison 的 llm-echo 调试插件发布 0.5 版本，把工具调用、system prompt 和推理 token 一并纳入模拟 token 用量统计。
推荐理由：调试插件把工具调用、system prompt 和推理 token 一并计入模拟用量，方便读者在没有真实模型调用的情况下验证 token 统计逻辑。
HF Daily Papers精选AI 评分3535 SpecKCast 通过频域 Kalman 预测加速扩散模型推理
SpecKCast 提出无需训练的扩散模型推理加速方法，以 2D DCT 分解输出，并用逐频带 Kalman 滤波和自适应步长调度预测跳步结果。在 FLUX.1-dev、Qwen-Image、Wan2.1-14B 和 HunyuanVideo 上，该方法最高实现 6x 加速，额外内存低于 0.05 GiB，较现有缓存和预测方法呈现更好的加速与保真度权衡。
推荐理由：论文将频域分带 Kalman 预测与不确定性触发的自适应跳步结合，为扩散模型缓存优化提供了一种可迁移的方法。
36氪精选AI 评分3232 中科曙光在CCF HPC 2026发布曙光8000十大前沿应用成果
中科曙光在2026 CCF全国高性能计算学术大会（CCF HPC 2026）上发布曙光8000十大前沿应用成果，覆盖天文学、地球科学、生命科学、材料研发和高端装备等领域，多项突破成为该领域"世界首次"。曙光8000被介绍为国内首个明确采用原生超智融合路线的先进算力系统，摒弃传统算力分区模式，将高精度科学计算与智能计算原生一体化融合，已有部分成果嵌入实际业务系统与研发流程。
推荐理由：原文汇总了曙光8000在多学科的十项前沿应用成果，并强调其原生超智融合架构区别于传统算力分区的特点。
腾讯混元精选AI 评分4949 腾讯混元开源长记忆写入模型 Hy-Memory-30B-A3B 的 FP8 量化版
腾讯混元在 Hugging Face 开源长记忆写入模型 Hy-Memory-30B-A3B 的 FP8 量化版（约 3B 激活参数），可在 Mem0、MemOS、Hy-Memory 等记忆框架中替代通用大模型。
推荐理由：原文给出长记忆写入模型的架构、两阶段训练流程与跨框架评测对比，附开源代码与权重，可作为 Agent 框架中记忆层替换通用大模型的参考。
Hacker News精选AI 评分7373 Mac 本地跑大模型：显存与速度计算器
开发者发布了一个 Show HN 计算器，根据实测带宽公式（带宽除以权重大小加固定开销）估算各苹果芯片运行大语言模型的显存与生成速度，复现实测误差在 4.6% 以内。
推荐理由：原文用实测拟合的带宽模型估算各苹果芯片跑大模型的速度，并给出可验证的显存与吞吐数据，可作为选购或租用 Mac 时的参考。
Latent Space精选AI 评分4949 Latent Space 试播 AINews 节目 High Taste Testers 首集，汇总 2026 年 10 月 15 日至 16 日 AI 动态
Latent Space 开始试播 AINews 新节目 High Taste Testers，首期以旧金山午餐对话形式汇总 2026 年 10 月 15 日至 16 日的 AI 动态。
推荐理由：材料横向汇总开放权重模型、推理基础设施、智能体研究和监管提案，并保留基准与部署数字，便于快速扫描近两日 AI 变化。
量子位精选AI 评分4747 范式智能联合睿思智联开源上线一站式 AI 部署平台「模域 ModelSphere」
范式智能联合睿思智联推出一站式生产级 AI 部署平台「模域 ModelSphere」，已在 GitHub 以 Apache 2.0 协议免费开源。
推荐理由：原文给出了该开源平台在多芯片适配和模型支持上的具体清单，为评估国产算力部署方案的团队提供了一处可参照的工程选项。
36氪精选AI 评分4949 摩根士丹利：明年超大规模及新兴云厂商数据中心新增算力将同比激增48%
摩根士丹利预测，2027年超大规模云厂商与新兴云的数据中心新增算力规模将同比增长48%，达到32吉瓦，谷歌、亚马逊、微软、Meta四家厂商贡献约85%的新增建设量。该机构还预计2028年将再新增39吉瓦，同比扩张21%。
推荐理由：给出了2027和2028两年超大规模与新兴云算力扩张的量化预期，读者可与AI基础设施投资节奏对照参考。
36氪精选AI 评分3434 "风清"AI集合天气预报系统V1.0通过业务化评审并投入运行
"风清"人工智能全球短中期集合天气预报系统V1.0近日通过业务化评审并投入运行，是全国首个实现数据、模型、算力全自主的业务应用气象AI集合预报模型。该系统依托国家超算互联网核心节点的十万卡AI4S计算集群完成训练，全球有效预报时效达11天，综合预报效果超过欧洲中期天气预报中心（ECMWF）的人工智能集合预报系统。
推荐理由：作为全国首个数据、模型、算力全自主的业务化气象AI集合预报系统，其与ECMWF的对比结果和11天有效预报时效是评估实际能力的关键参考。
AWS Machine Learning Blog精选AI 评分4444 AWS 基于 Amazon Bedrock AgentCore 构建九阶段 AI 智能体评估框架
AWS SMGS 团队基于 Amazon Bedrock AgentCore 构建了一套覆盖智能体全生命周期的九阶段评估框架，从定义质量标准（Stage 1）到反馈循环（Stage 9），在工具、Agent 和多 Agent 三个层级同时运行。
推荐理由：原文给出九阶段智能体评估框架与可量化的改进结果，可作为构建生产级智能体质量体系的参考。
Hacker News精选AI 评分6969 Agent harness 为何显著影响 prompt 缓存与能耗效率
Neuralwatt 联合创始人兼 CEO Chad Gibson 基于 2026 年 9-10 月自家云平台流量和 lab 测试数据，比较了 OpenCode、Pi、omp、Kilo Code 与 deepseek-harness 等 agent harness 在 prompt 缓存命中率上的差异。
推荐理由：基于自家云上 2026 年 9-10 月的流量和 lab 数据，对比主流 agent harness 的缓存命中率，并给出可逐项修复的失效成因。
HF Daily Papers精选AI 评分4747 EdgeKernelBench：统一评估异构边缘后端的 LLM 内核生成
EdgeKernelBench 与 LEKA 提出面向异构边缘后端的 LLM 内核生成统一评估和分层优化框架。EdgeKernelBench 通过统一 IR 和编译器接口连接目标后端，以 TVM 为参考编译器验证，基准范围从单个算子逐步扩展到紧凑模型图。
推荐理由：论文以统一 IR 跨边缘后端评估内核生成，并比较 LEKA、直接生成与 Claude Code 的性能达标结果。
Hacker News精选AI 评分3030 Llama.cpp 在越狱 PS5 上原生运行任意 GGUF 模型
PS5LM 在越狱 PS5 上运行 llama.cpp 的 Vulkan 后端，把 GGUF 模型加载到 RDNA 2 GPU 后向局域网设备暴露兼容 OpenAI / Anthropic 的 API。
推荐理由：给出了把 GGUF 模型部署到越狱 PS5 的完整方案，并附多档吞吐数据，对关注端侧推理部署的人有参考价值。
Hacker News精选AI 评分6060 Apple ML Research 用 MLX 在 Mac Studio 集群上分布式推理 Muse Spark Open
Apple ML Research 博客发布 MLX v0.30.1 分布式推理方案，结合 macOS 26.2 引入的 Thunderbolt 5 RDMA 驱动与新的通信集合 jaccl，可在多台 Mac Studio 上运行 816B 总参数、42B 激活参数的 MoE 模型 Muse Spark Open。
推荐理由：Apple 用 4 台 M5 Ultra Mac Studio 通过 Thunderbolt RDMA 把 816B 参数的 MoE 模型跑到 36.73 tokens/s，给本地大模型推理提供了可复现的并行方案与基准数据。
36氪精选AI 评分4141 联想全球交付英伟达Vera Rubin NVL72，纳入AI云超级工厂方案
联想集团在2026年OCP全球峰会上宣布，已开始在全球交付英伟达新一代Vera Rubin NVL72机架级AI系统，并将完整Vera Rubin平台纳入联想AI云超级工厂（AI Cloud Gigafactory）解决方案，强化面向全球云服务商的AI基础设施建设与交付能力。
推荐理由：原文给出具体机架型号与交付节奏，可作为 AI 基础设施厂商布局的参考。
Simon Willison精选AI 评分5757 sparqlite：用 Rust 在 SQLite 中实现 SPARQL 1.1
sparqlite 是一个用 Rust 编写的 SQLite 可加载扩展，可将 RDF 四元组存入普通 SQLite 表，并在 SQLite 进程内原生执行 SPARQL 1.1 查询和更新。
推荐理由：给出原生执行与 SQL 翻译的速度对比及 W3C 测试覆盖，为嵌入式 SPARQL 实现提供可核对的性能与兼容性基线。