tokenizers v1 发布候选版,单线程编码较 v0.23 提升 3 到 30 倍
tokenizers v1 发布候选版,在 Apple M4 Max 单线程上对十种模型族的编码较 v0.23 提升 3 到 30 倍,在八核下达到 76% 线性扩展。
推荐理由:对比 v0.23 与 v1 的多项工程改动对吞吐的具体影响,并附带可在自有硬件上复现的基准方法。
tokenizers v1 发布候选版,在 Apple M4 Max 单线程上对十种模型族的编码较 v0.23 提升 3 到 30 倍,在八核下达到 76% 线性扩展。
推荐理由:对比 v0.23 与 v1 的多项工程改动对吞吐的具体影响,并附带可在自有硬件上复现的基准方法。
Google 在官方博客公布多语种 AI 最新能力:Gemini 3.5 Live Translate 支持 70 种语言、2000+ 语言对的实时语音翻译并能处理 code-switching 与情绪线索,Gemini 3.5 Transcribe 提供高精度语音转写,覆盖 55 种语言的轻量开源模型 TranslateGemma 可端侧离线运行。
推荐理由:原文汇总了 Google 在实时语音翻译、端侧模型与社区数据合作上的最新进展,读者可以据此了解不同网络条件下的可用能力。
OpenAI 将内部 Python 库 Habitat 演进为全球分布式存储平台,目前已服务超 10 亿 ChatGPT 用户,每秒处理 2200 万次请求。该基础设施支撑了 ChatGPT 用户规模的快速扩展,是其全球化部署的关键。
TRL v1.14 的 AsyncGRPOTrainer 新增 LoRA 支持,trainer 与 vLLM 分别跑在独立 HF Jobs 上,通过共享 Storage Bucket 目录仅同步几 MB 的 adapter。
推荐理由:详细展示了 LoRA 异步 GRPO 在跨节点 HF Jobs 上的部署方案与五轮调优路径,并给出 3.9 倍提速的实测数据。
面壁 MiniCPM 发布 MiniCPM5-2B-DSpark 的 GGUF 版本,用于在 llama.cpp 中与 MiniCPM5-2B 配合进行推测解码,BF16 精度文件大小 653 MB。模型权重采用 Apache-2.0 协议开源,并提供完整的 llama-server 启动命令示例。
Hugging Face 开源 funes,一个把 Claude Code、Codex、pi、Hermes 会话轨迹索引成本地记忆层的单二进制工具。安装只需一条 curl 命令,记忆默认存本地 Lance 数据集,可绑定到 Hugging Face 私有数据集实现跨机器和跨代理共享;recall 返回原文并标注来源。
推荐理由:funes 给出了会话轨迹索引、跨代理共享与远程记忆同步的完整命令链和架构,方便直接接入现有编码代理。
Anthropic 宣布推出 Enterprise Frontier Safeguards(EFS),将零数据保留与企业级滥用监测结合:活动数据可存储在客户自有云账户(AWS S3、Azure Blob Storage、Google Cloud Storage)中,由客户掌控加密密钥、访问策略与审计,Anthropic 不进行人工审查。
推荐理由:文章说明如何在保留前沿模型能力的同时让企业自管数据存储与监控信号,为后续企业级 AI 部署架构提供参考。
Hugging Face 发布 `@huggingface/kernels` JavaScript 加载库和首批 207 个 WebGPU 内核集合,同时上线浏览器内基准测试工具 Fleet。
推荐理由:把 WebGPU 算子做成独立仓库并附正确性与基准用例,同时公开与 ORT WebGPU 的对比数据,读者可据此评估浏览器推理的优化空间。
Gradio 新增 gr.Workflow 功能,把 AI 流程描述为带类型端口的节点图,Gradio 会同时把它渲染为可拖拽的画布 UI,并暴露为 REST API,可一键部署到 Hugging Face Spaces。
推荐理由:用 gr.Workflow 把多步骤 AI 流程同时做成可视化画布、REST API 和 Spaces 部署,给快速搭建与集成多模型应用提供一个可直接复用的模式。
Liquid AI 发布 LFM2.5-DSpark 推测解码草稿模型,覆盖 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 三个模型。
推荐理由:原文给出了 DSpark 推测解码在 GPU 与端侧的实测吞吐与函数调用延迟数据,并开源了 llama.cpp 与 SGLang 集成。
Dharma AI 在 Hugging Face 博客发文介绍其约束感知 GPU 调度器,在 7 个测试场景中将利用率最多提升 33 个百分点、优先级加权产出平均提升 52%。该调度器将实时推理视为按时间步变化的曲线而非全天峰值预留,并按优先级批量放置训练、批量推理与量化等长时任务;在 64 GPUs / 30 作业的场景下调度延迟约 15 毫秒,可逐请求调用。
推荐理由:文章给出约束感知 GPU 调度的形式化建模与七场景基准,展示了不靠新增硬件也能回收利用率的具体做法。
DeepSeek 正式发布 DeepSeek-V4-Pro 0813,在预览版基础上挂载 DSpark 推测解码模块,重点强化智能体能力。该模型在 HLE 上得分 42.7/60.0(无工具/有工具),Terminal Bench 2.1 达 87.9,DeepSWE 62.7。
推荐理由:正文给出与同代模型的基准对比和 vLLM/SGLang 部署方式,读者可直接评估其相对位置并复现推理流程。
Mistral将Regional Endpoints转为正式可用,同时上线提供SLA保障的Priority Tier服务,并在推理基础设施上接入Z.ai的GLM-5.2等第三方开源模型;Mistral称自己是同时提供区域选择与SLA承诺的欧洲AI实验室。
推荐理由:Mistral将区域推理端点转为正式可用,上线SLA优先级服务并接入第三方开源模型,为欧洲主权AI部署补齐组合工具。
OpenAI 与 AWS 将 Daybreak 网络安全模型接入 Amazon Bedrock,面向企业安全工作流开放。Daybreak 能力现可在 Bedrock 上调用,为企业安全团队提供网络安全支持。
NVIDIA 发布多语种 TTS 模型 Magpie TTS Multilingual 新版本,开放权重,支持英语、西班牙语、法语、德语、意大利语、越南语、普通话、印地语、日语、现代标准阿拉伯语、韩语和巴西葡萄牙语共 12 种语言,参数量 364M,可在自有基础设施部署。
推荐理由:文章给出 B200 上 32ms TTFA 等具体延迟数据与帧堆叠等推理优化结构,读者可据此估算多语种语音智能体的端到端可控时延空间。
MiniMax 开源发布 Music 3 音乐生成模型,可根据歌词和音乐描述生成长达 5 分钟的 32 kHz 立体声 WAV 完整歌曲。模型采用 8B Global LLM 与 0.6B Local LLM 的分层自回归架构,Global LLM 由 Qwen3-8B 初始化,并配合 Flow Matching 与 Flow-VAE 的连续隐状态合成模块。
推荐理由:给出了 8B Global LLM 与 0.6B Local LLM 的分层架构与 Flow Matching 合成路径,便于参考音乐生成模型的工程设计。
Ai2 发布 OlmoEarth Platform,把地球观测基础模型的微调、评估与大规模推理整合到一套基础设施上,可在约一天内对洲际范围完成推理,单次任务处理数十 TB 影像、每平方公里成本为几分之一美分。
推荐理由:原文把行星尺度推理拆成数据获取、推理、后处理三段并按硬件特性分配任务,为同类大规模地理空间系统提供了一套可迁移的工程做法。
美国能源部 Genesis Mission 旗舰项目 SYNAPS-I 基于 Meta 开源的 SAM 3 与 DINOv3 构建科研图像分割流水线,在 NERSC 等超算中心的 300 块 A100 GPU 上微调部署,将每个时间步的分析从约一个月压缩到约 15 分钟。
推荐理由:以 DOE 的 SYNAPS-I 项目为例,展示 SAM 3 与 DINOv3 经微调后在科研图像分割中的实际效果,将每个时间步的分析时间从约一个月压缩到 15 分钟。
Ai2 Skylight 团队详细复盘 Shippy 海事智能体的构建经验,将其抽象为 soul、skills、config 三层结构,技能遵循 Claude Code 与 Codex 使用的 agent-skills 规范,当前底层模型为 Claude Opus 4.6,运行框架为开源的 OpenClaw。
推荐理由:读者可以从中了解智能体的分层架构、技能规范与评测流程,判断其中的模式是否可迁移到类似的高风险决策场景。
MiniMax 在 Hugging Face 开源原生多模态模型 MiniMax-M3,支持 1M 上下文,总参数约 428B、激活参数约 23B。M3 搭载自研稀疏注意力算子 MiniMax Sparse Attention(MSA),相比 M2 在 1M 上下文下实现 9× prefill 与 15× decode 加速,单 token 计算量降至 1/20。
推荐理由:原文给出 1M 上下文与稀疏注意力算子的具体收益,读者可据此评估该模型在长上下文场景下的部署成本与吞吐。
阶跃 StepFun 发布 Step 3.7 Flash 多模态模型,采用 198B 参数稀疏 MoE 架构,每 token 激活约 11B 参数,支持 256k 上下文与低中高三档可调推理强度,最高吞吐达 400 tokens/秒。
推荐理由:Step 3.7 Flash 以 198B 稀疏 MoE 视觉语言模型形态发布,配合 256k 上下文与 ClawEval-1.1 67.1 的领先成绩,为 agent 与工具调用场景提供了从云端 API 到本地 GGUF 的完整部署参考。
StepFun 发布 198B 参数稀疏 MoE 视觉语言模型 Step 3.7 Flash,每 token 激活约 11B 参数,吞吐量最高 400 tokens/s,支持 256k 上下文窗口与低/中/高三档推理强度。
推荐理由:原文说明了该 198B MoE 模型针对高频生产与智能体工作流的定位,以及通过三档推理强度平衡成本与速度的设计取舍。
MiniMax 在 HuggingFace 发布 MiniMax-M2.7 模型,强调 Agent Teams、复杂 Skills 和动态工具搜索能力,并开放权重支持本地部署。
推荐理由:原文给出了与 Opus 4.6、GPT-5.4 等模型在多个工程基准上的横向对比,并附本地部署方式。
阶跃(StepFun)开源 Step 3.5 Flash 基座模型,总参数 196.81B,每 token 激活约 11B,采用稀疏 MoE 与 3-way Multi-Token Prediction(MTP-3)。
推荐理由:原文给出了 11B 激活参数下的稀疏 MoE 设计与多模型基准对比,可用于评估开放模型的推理与 Agent 能力边界。