跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

490 条精选近 30 天 451 条共收录 562 条

更新

精选归档 · 第 8 页

10月27日周二第 141–160 条
  1. 量子位37

    2026全球开发者先锋大会暨国际具身智能技能大赛在上海落幕

    2026全球开发者先锋大会暨国际具身智能技能大赛10月25日在上海张江科学会堂落幕,线下参会者近6万人次。大会围绕应用场景、技术评测、供应链协同和产业空间推出“4+X”重大成果,包括十大实景赛道、具身智能评测体系与工具、张江南具身智能供应链平台及2000平方米永久性实景实训空间。技能大赛设置工业、服务、特种三大领域9大赛道、23个赛项,吸引800余支队伍和上千台机器人参赛。

    推荐理由:大会同时披露实景赛道、评测工具和产教训评一体化布局,为观察具身智能从技能展示走向实际作业提供具体样本。

  2. 量子位38

    达卯科技在 CPE 2026 展示算电协同产品体系并提出 E-AIDC 范式

    达卯科技在 CPE 2026 展示以自研能源大模型和智能体集群为核心的算电协同产品体系,包括算电协同 2.0 平台及预测、调度、交易引擎。公司提出 E-AIDC(能源驱动型智算中心)范式,利用负荷、发电和电价等数据开展多市场预测与多目标策略求解,形成运营、调度和运维闭环。

    推荐理由:文章给出四重市场融合寻优的解法及仿真与收益数据,呈现绿电直连项目突破电量净值博弈的具体路径。

  3. 量子位62

    国产 AI 3D 模型 Hi3D V3.0 发布,Hi3D V1.0 模型代码正式开源

    Hi3D 团队发布国产 AI 3D 模型 Hi3D V3.0,并正式开放基于 Sparc3D 的 Hi3D V1.0 模型代码。V3.0 被介绍为业界首个可商用的 2048³ 超高精度国产自研模型,文章示例中其生成结果比 GPT-6 Astra 更接近参考图;V1.0 基于约 200 万个筛选后的 3D 资产训练。

    推荐理由:文章对比 GPT-6 Astra 与 Hi3D 的 3D 生成效果,并梳理 V1.0 开源、训练规模及 Agent 工作流,便于开发者选型。

  4. 量子位74

    百度文心 Unlimited OCR 2 发布并开源,峰值 KV Cache 占用从 47GB 降至 1.77GB

    百度文心 Unlimited OCR 2 正式发布并开源,百页级单序列测试中的峰值 KV Cache 占用从 47GB 降至 1.77GB,减少约96%。SR-SWA按需筛选相关页面和视觉信息,无限解码机制通过分块处理、复用边界页缓存并及时释放其余缓存;16路并发端到端吞吐量从360提升至1315 Token/秒,约为标准解码的3.65倍。

    推荐理由:文章通过整本书实测与技术报告,拆解SR-SWA和分块解码的降缓存机制,并对比吞吐量、速度与文档解析质量。

  5. 量子位53

    智元发布 Genie Master 具身 Agent 框架,在真实便利店跑通 Physical RSI

    智元发布具身 Agent 框架 Genie Master,并称搭载精灵 G2 的机器人已在真实便利店跑通 Physical RSI 自主改进闭环。框架以 EEP 统一 Agent 与物理世界的接口,通过 Harness RSI 沉淀提示词、记忆和执行规则,通过 Policy RSI 处理真实执行及人工接管数据并更新动作策略。

    推荐理由:Harness RSI与Policy RSI分别沉淀经验和更新动作策略,EEP则衔接推理、执行与反馈,为具身系统部署态自改进闭环提供架构参考。

  6. 钛媒体64

    AI 模型 token 折扣交易承压,中间层探索授权、套餐与智能路由

    AI 模型 token 折扣交易正因供给增加、上游封号与合规整顿而承压,依赖灰色渠道的中间商利润空间收窄。部分低价 API 商店涉及账号交易和非官方影子接口,模型身份测试与内容安全存在缺口,相关企业公开数据也呈现负毛利与较大净亏损。可持续方向包括正规授权、云资源与安全打包、运营商 token 套餐试点,以及按任务自动选择更便宜或更小模型的智能路由。

    推荐理由:文章拆解 AI 模型 token 折扣链条的利润、封号与合规风险,并对比正规授权、云服务打包和智能路由三种可持续路径。

  7. MIT Technology Review51

    固态变压器如何缓解 AI 数据中心扩张带来的电网压力

    固态变压器以高功率半导体和磁性组件实现更紧凑、可控的电力转换,有望缓解 AI 数据中心扩张带来的电网设备供给压力。8月,New York Power Authority 与 EPRI 在真实电网条件下测试了 1MW 原型,效率约 98%,传统变压器与整流器合计约 96%。

    推荐理由:文章以1MW原型效率和传统大型变压器最长5年等待期为参照,解释固态变压器缓解数据中心供电瓶颈的潜力及高电压工程难点。

  8. 钛媒体59

    AI算力扩张与气候危机相互影响,当前净效应弊大于利

    AI扩张正在通过电力、散热与数据中心建设加剧气候风险,而极端天气也会反向推高AI运营成本与部署障碍。文章以Anthropic IPO文件、UNEP报告和First Street数据为依据,指出数据中心当前排放占比不到1%,但预计2030年用电量较今年翻倍,79%的全球数据中心算力容量处于极端气候灾害覆盖范围内。

    推荐理由:文章把AI的能耗与气候风险放入双向影响框架,汇总排放、算力扩张和数据中心受灾数据,为评估AI扩张代价提供多维参照。

  9. 36氪53

    英伟达与Meta宣布扩大Muse系列模型合作

    英伟达与Meta宣布扩大Muse系列模型合作,以响应市场对AI智能体的爆发式需求。双方将探索依托英伟达OpenShell参考架构强化AI智能体安全体系,并借助Sentry实现智能体行为全链路监控,覆盖结构化、非结构化与图数据处理场景。

    推荐理由:合作同时覆盖模型协同、智能体安全监控与算力集群扩展,呈现AI智能体基础设施从模型到部署的推进路径。

  10. 钛媒体49

    行元智能发布 Chorus众行跨本体数据引擎

    行元智能推出跨本体数据引擎 Chorus众行,将智能眼镜、胸戴相机和 UMI 设备采集的人类操作视频统一处理并适配至多种机器人。流程涵盖原子动作识别、语义标注、三维运动重建、轨迹优化和跨本体映射,当前测试有效数据转化率约 85%。适配 16 种机器人本体后,1 小时预筛选人类视频可生成约 13.6 小时动作轨迹,结合 3 倍指令增广实现约 40 倍有效训练数据扩容。

    推荐理由:文章给出 Chorus 的跨本体数据处理链路及约 40 倍扩容测试结果,并呈现机器人模型在部署反馈中持续迭代的路径。

  11. 36氪85

    Meta 计划募资950亿美元,加码 AI 基础设施与超级智能

    Meta 周一表示,计划总共筹集950亿美元,用于人工智能基础设施和超级智能投资。消息公布后,Meta 股价在早盘交易中下跌1.6%;Meta 称,英伟达、Advanced Micro Devices 和博通有意购买最多50亿美元的股票。

    推荐理由:梳理 Meta 的融资规模、潜在认购方及股价反应,为评估 AI 基础设施投入的资金压力提供背景。

  12. Hacker News76

    Cloudflare 修复 Workers AI 中 GLM-5.3 的跨请求 KV cache 数据暴露问题

    Cloudflare 已修复 Workers AI 上 GLM-5.3 的跨请求 KV cache 暴露问题,8 月 27 日至 9 月 9 日共有 155 条响应包含其他客户此前请求的数据,且相关提示词均超过 681,280 tokens。

    推荐理由:文章拆解了配置错配与 SGLang 缺陷共同造成数据暴露的路径,并给出引擎升级、缓存池核对和传输校验等部署建议。

  13. HF Daily Papers41

    TAO 论文提出面向 LLM 智能体服务的工具感知联合调度框架

    TAO 论文提出一种面向 LLM 智能体服务的工具感知联合调度框架,通过动态规划在容量约束下联合选择并部署等待会话。框架综合近期工具就绪度、带时间感知衰减的节点缓存额度与 token footprint,避免现有系统忽略工具返回就绪和启发式调度造成的资源浪费。

    推荐理由:论文将工具就绪状态纳入联合调度,并以动态规划替代启发式决策,便于理解智能体服务在延迟与吞吐上的优化路径。

  14. Hacker News60

    Nietzschian Debugger v0.1.0 发布,以连续追问引导开发者定位根因

    Nietzschian Debugger 发布 v0.1.0,通过连续提问而非直接给出修复方案,引导开发者自行定位代码问题的根因。工具提供 socrates、nietzsche、zarathustra 三档强度,可读取指定路径的实际代码,并在本地保存会话记录和调试成长评分。

    推荐理由:工具用连续追问替代直接给出修复方案,并提供三档强度、指定文件读取和会话记录,适合了解偏交互式的调试流程。

  15. Latent Space54

    Supabase 阐述面向十亿个 AI 构建应用的后端基础设施规划

    Supabase 联合创始人 Paul Copplestone 与 Ant Wilson 在访谈中阐述面向十亿个 AI 构建应用的后端规划,重点支持智能体生成软件后的长时工作负载。

    推荐理由:访谈把 AI 智能体带来的后端变化落到长时工作负载、schema 设计与扩展基础设施,呈现 Supabase 面向 AI 构建应用的平台思路。

  16. AWS Machine Learning Blog74

    AI 智能体在 Amazon Bedrock 上使用 OpenAI 模型的提示缓存模式

    在 Amazon Bedrock 上运行 OpenAI 模型的 AI 智能体时,可用显式与隐式提示缓存复用工具、指令和会话前缀,降低重复输入成本。代码示例覆盖滚动断点、工具变更、并行子智能体和跨会话复用,并给出前缀至少 1,024 tokens、TTL 至少 30 分钟等约束。

    推荐理由:文章用 Python 示例拆解显式与隐式缓存、滚动断点及子智能体共享前缀,为多轮智能体复用稳定前缀和测量成本提供了可落地步骤。

10月26日周一
  1. Hacker News62

    ESP32-S3 用 SIMD 加速 FAST 特征检测,吞吐量从 5.1MP/s 升至 11.2MP/s

    作者为 ESP32-S3 实现了利用 128-bit SIMD 指令的 FAST 特征检测器,在其测试中将吞吐量从 5.1MP/s 提升至 11.2MP/s。实现每次并行计算 16 个像素,并通过 XOR 0x80 将无符号像素转为可用的有符号范围,绕过芯片不支持非对齐直接读取、仅有符号 8 位比较和饱和算术等限制。

    推荐理由:文章拆解了 ESP32-S3 的 SIMD 限制,并以 FAST 检测器演示如何处理非对齐读取、有符号比较和饱和算术,可为低成本端侧视觉优化提供实现参考。

  2. 量子位63

    NeoLab探索转售 GPU 的商业模式

    一种转售 GPU 的商业模式正在手握大额融资的 NeoLab 中浮现,模型商业化进展缓慢的实验室开始将闲置算力变现。转售路径包括把长期算约溢价转手给经纪商、拆分现货 GPU 实例按日或按周出租,以及托管开源模型提供按 token 计费的 API。Dealroom 数据显示,29 家典型 NeoLab 累计融资 230亿美元,但推出对外销售产品的比例不到 35%。

    推荐理由:文章把 NeoLab 的高额算力承诺与转售路径并置,用融资、产品销售和算力成本数据呈现其商业化压力。