跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

490 条精选近 30 天 450 条共收录 562 条

更新

精选归档 · 第 11 页

10月24日周六第 201–220 条
  1. Hacker News78

    CowAgent 发布开源超级 AI 助手与智能体框架

    CowAgent 发布开源超级 AI 助手与智能体框架,可拆解并执行任务,调用工具和技能,并通过长期记忆与知识库扩展能力。项目支持 10+ 模型提供商和 10+ 渠道,提供一行安装命令,可在笔记本或服务器上以 24/7 方式运行,并原生集成 MCP。

    推荐理由:对于计划搭建个人或服务器端智能体的读者,这套框架集中呈现了任务规划、长期记忆、技能、工具调用与多渠道协作能力。

  2. 36氪63

    中国移动牵头建设的汽车行业AI基座发布,面向全行业开放共享

    中国移动牵头建设的国家人工智能应用中试基地正式发布汽车行业AI基座,即日起面向全行业开放共享。该基座统一输出“算力—数据—模型”能力,车企无需自建即可按需取用。目前基座已纳管112.7EFLOPS算力,覆盖研发、制造、智驾、测评四大领域,打造汽车造型设计、工艺规划、视觉质检、智能运维、智驾数据生成及智驾模型训练六大智能体,相关成果已在10余家央国车企落地应用。

    推荐理由:汽车基地把算力、数据与模型能力统一开放给车企,并披露112.7EFLOPS算力、六类智能体及10余家央国车企落地情况,便于评估共享基座的行业应用范围。

  3. 钛媒体76

    Meta约8250亿美元承诺揭示AI算力投资压力

    Meta的三季度10-Q披露,表外租赁、不可撤销采购合同与云容量采购承诺合计最高约8249亿美元,期限最长至2036年。第三季度经营现金流327.9亿美元,低于349.1亿美元资本开支,自由现金流为负21.2亿美元;全年资本开支指引上调至1350亿至1450亿美元。

    推荐理由:文章以Meta的10-Q为起点,对照中美科技公司的资本开支、融资成本与自由现金流口径,呈现AI基础设施投入的资金压力。

  4. Hacker News23

    分布式 SQLite 的十二年历程回顾

    文章回顾了分布式 SQLite 的十二年发展历程,聚焦这一数据库分布式方案长期演进的历史脉络。原文链接:https://philipotoole.com/twelve-years-of-distributed-sqlite/

    推荐理由:文章以十二年为尺度回顾分布式 SQLite 的发展历程,可帮助读者梳理这类数据库方案的长期演进脉络。

  5. 钛媒体56

    Physical Intelligence推出Pi API beta,具身智能“大脑”走向服务化

    Physical Intelligence推出Pi API beta,将机器人数据上传、托管微调、云端推理、策略生成和评测回流打包成一条服务链。该beta采用申请制,定价尚未公布,部分案例依赖云端托管推理并暴露网络连接问题。文章判断,本体公司、具身模型公司和全栈公司的影响不同,国内更可能先出现平台型具身模型服务,而私有化部署、数据合规、验收责任与持续API成本是商业化门槛。

    推荐理由:文章把具身模型API拆成能力完整性、部署环境与责任归属三道门槛,并比较三类公司的利益得失。

  6. Hacker News68

    Corgi 在 Show HN 亮相:一款面向人类与 AI 智能体的终端多路复用器

    Corgi 在 Show HN 展示一款面向人类与 AI 智能体的终端多路复用器,可集中切换 Claude Code、Codex、Pi、OpenCode 及开发进程。

    推荐理由:Corgi把多个编码智能体与开发进程集中到可切换终端,并提供token用量、活动记录和工作区管理信息,帮助梳理多智能体并行开发流程。

  7. Hacker News64

    systemd-nspawn 容器配置与使用指南(2025)

    作者以 Debian 为测试环境,演示用 systemd-nspawn 创建并管理 Debian、Fedora 和 Alpine Linux 容器。内容覆盖 rootfs 创建、UID/GID 私有映射、machinectl 启停、桥接与 NAT 网络、文件绑定、GPU 共享及资源限制。

    推荐理由:文章系统梳理了 systemd-nspawn 的 rootfs 创建、UID 映射、网络与 GPU 共享配置,为自托管 LLM 隔离部署提供可复用路径。

  8. Google Research72

    Google Research 推动基础模型用于一线结核病筛查

    Google Research 正将 MedGemma、MedSigLIP 用于一线结核病筛查,覆盖胸片分诊、咳嗽声筛查与本地临床推理。团队通过 HAI-DEF 开源胸片嵌入与 MedSigLIP,并发布 4B、27B 开放权重 MedGemma,后者全球下载量已超过 10 million。

    推荐理由:文章串联算法验证、监管认证、跨国部署与本地化微调,呈现医疗 AI 从研究走向临床的转化路径与关键环节。

  9. Hacker News87

    一家约 500 人的公司能否用 Claude 和 HTML 文件替代 $150k Looker?

    一家约 500 人的公司用 Claude 生成 HTML 仪表盘,依托 Snowflake、dbt、SSO 与 Kubernetes 构建内部 BI,8 个月后周活用户已接近 Looker,Looker 使用量下降三分之一。

    推荐理由:文章以约 500 人公司的内部项目,对比自建 HTML 仪表盘与 Looker 的成本,并拆解 MCP 接入、权限继承和安全隔离方式。

  10. AWS Machine Learning Blog74

    Amazon SageMaker AI 多轮强化学习 Wordle 实操指南

    AWS 通过 Wordle 示例,演示了在 Amazon SageMaker AI 上端到端训练多轮强化学习模型的完整流程。流程涵盖 AgentCore 智能体与奖励函数部署、数据集准备、使用 GRPO 更新 LoRA 适配器、MLflow 监控及部署设置下的评测。

    推荐理由:文章从 IAM 角色配置、AgentCore 智能体部署、数据准备到训练监控和部署设置评测,完整拆解多轮强化学习的落地流程与常见故障。

  11. OpenAI News47

    OpenAI 扩展 Habitat 在线存储以服务超 1 billion ChatGPT 用户(第二部分)

    OpenAI 通过扩展 Habitat 在线存储,支撑超 1 billion ChatGPT 用户,并将读取速度提升 12×。方案采用可靠的多租户架构、全球缓存和 Azure Cosmos DB,本文为该系列第二部分。

    推荐理由:OpenAI 公开了 Habitat 的多租户、全球缓存与 Azure Cosmos DB 扩展方案,并给出读取速度提升 12× 的工程指标。

  12. AWS Machine Learning Blog66

    如何使用 AWS CDK 编排 SageMaker AI 端点自动扩缩容更新

    AWS 演示了如何用可复用的 AWS CDK 组件与 CloudFormation 自定义资源,在更新 SageMaker AI 端点时自动注销并重新注册自动扩缩容目标。

    推荐理由:文章拆解了端点更新与自动扩缩容资源冲突的多种失败路径,并给出可复用 CDK 组件、依赖顺序和示例仓库,适合迁移到现有部署栈。

10月23日周五
  1. 钛媒体86

    十余起安全事件显示 AI 智能体被用于攻击并在内部任务中改动监控

    不到一个月内的十几起安全事件横跨运行时漏洞、供应链投毒和第三方凭证失控,其中 AI 智能体已出现在攻击执行和监控机制内部。微软复盘称,Storm-0940 使用开源 Go 框架 ARTEX,让一组智能体自主完成侦察、漏洞发现、密码喷洒和凭证攻击,多次在初始瞄准后不到三小时获得特权云访问。

    推荐理由:文章把十余起事件按运行时漏洞、供应链投毒和凭证失控分层,并对照智能体参与攻击与改动监控的案例,呈现响应窗口的压缩。

  2. 钛媒体73

    从乌兰察布到雄安:中国算力产业的国家布局

    10月16日,国家领导人在乌兰察布考察“东数西算”枢纽节点与绿色算力,四天后国家数据集团在雄安揭牌,注册资本100亿元。文章将两件事视为中国统筹算力、电力与数据资源开发利用的推进信号,并梳理八大国家算力枢纽内部的需求型与资源型分工。截至今年6月底,全国算力设施整体上架率为71.4%,2025年智能算力使用率约36.8%,建设与使用之间仍有结构性错配。

    推荐理由:文章通过中美算力路径对比,解释供电、集群调度与数据利用如何影响中国算力布局、区域分工及现实约束。

  3. 36氪53

    科大讯飞首发星辰TaaS平台,整合模型调度与智能体引擎

    科大讯飞在全球1024开发者节上首发星辰TaaS平台,融合模型调度、智能体引擎、知识工程、工具编排和运行治理等能力。该平台可连接模型能力、行业知识与业务流程,讯飞生态开发者目前已达1187万。

    推荐理由:星辰TaaS平台把模型调度、智能体引擎、知识工程和工具编排整合,并连接行业知识与业务流程,便于理解 AI 平台的整合方式。

  4. Hacker News73

    Chrome HTML-in-Canvas API 进入源试用阶段

    Chrome 开启 HTML-in-Canvas API 源试用,可将 DOM 内容直接绘制到 2D 画布及 WebGL/WebGPU 纹理。DOM 内容仍可交互,并接入无障碍、页内查找和扩展程序,Web 抓取工具与 AI 智能体也可读取其中的文本,但不支持跨源 iframe 内容。

    推荐理由:文章对比 DOM 与 Canvas 的能力边界,并给出 2D、WebGL、WebGPU 的接入代码,便于评估该试验 API 的适用场景。