技术方向
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
222 条精选近 30 天 196 条共收录 273 条
DeepSeek 发布多模态 MoE 模型 DeepSeek-V4.1-Flash，采用 CED 架构、CSA2 与 FP4 KV cache 等压缩手段，将全局 KV cache 占用压至每 token 890 字节，相对 DeepSeek-V4-Flash 和 DeepSeek-V1 分别缩减约 4 倍与 437 倍。
推荐理由：原文给出 CED 架构、CSA2 与 FP4 KV cache 等具体压缩设计，并对照 Opus-5.0、GPT-5.6 等前沿模型列出 agentic 基准成绩，读者可据此评估压缩策略对推理成本的实际收益。
Gradio 团队发布 Workflow1111，用 73 个节点、11 条媒体管线在 Gradio Workflow 画布上复刻了 AUTOMATIC1111 的大部分功能，包括文本生图、高清修复、图像编辑、prompt 矩阵、VLM 反推、检测生成 inpaint 蒙版、Annotator、上采样、背景移除、PNG Info 与图生视频。
推荐理由：把 AUTOMATIC1111 的常见图像生成流程拆成 Gradio Workflow 节点，读者可以对照 ComfyUI 评估这种节点式工作流在多模型组合和 MCP 调用上的差异。
DeepSeek 发布 V4 系列首个实验性多模态模型 DeepSeek-V4-Flash-Vision-Exp，在 V4-Flash 架构上加入视觉模块继续训练。
推荐理由：仓库同时给出与 Opus-4.8 的多模态 Agent 基准对比和开源推理实现，读者可据此判断它在 V4 系列里的相对位置。
Google DeepMind 推出 Gemini Omni 1.1 Flash，新增场景延长、首尾帧插值、4K 放大和视频参考等视频生成控制能力。场景延长可参考最多 10 秒上文，单次累计上限 40 秒；360p 预览生成速度比 720p 快 60%，成本降至三分之一。
推荐理由：原文列出了 Omni 1.1 Flash 在场景延长、首尾帧插值和 4K 放大等具体控制能力上的更新，可帮助开发者判断它能接入哪些视频生产工作流。
智谱发布 GLM-5.3-Flash，是 GLM-5 系列首个原生多模态模型，总参数 320B、激活 18B，价格为 GLM-5.2 的十分之一，编码与智能体基准接近 Claude Opus 4.8。
推荐理由：读者可以横向比较 GLM-5.3-Flash 与 Claude Opus 4.8 在编码与智能体基准上的差距，并参考其混合注意力与稀疏激活设计评估部署成本。
千问（Qwen）在 Hugging Face 开源 Qwen3.8-Flash-Next 的 FP8 量化权重，称其为 Qwen4 架构的实验性预览版本。该模型总参数 125B、激活 6B，并附带 51B n-gram embedding 与 4B MTP，原生 262,144 tokens 上下文可通过 YaRN 扩展至 1,000,000 tokens。
推荐理由：作为 Qwen4 架构的实验预览，文中给出的稀疏注意力与 N-gram 嵌入设计可与既有 MoE 路线横向对照。
Google DeepMind 发布手语转文本模型 SL2T，并在 Pixel 11 上的 Gboard 与 Live Transcribe 中首发 ASL→英文 实时转写功能。
推荐理由：SL2T 在 Gboard 与 Live Transcribe 上首发，文中给出了训练规模、关键基准和隐私设计，便于读者评估实际可用性。
微软研究院发布胸片视觉语言研究模型 CARE-X，在 ReXVQA 上以 94% 准确率排名第一，比次优公开模型高 6 个百分点。
推荐理由：微软研究院给出 CARE-X 辅助头与 DAPO 强化学习结合的训练方法，并在 ReXVQA 等胸片基准上对比 CheXOne、MedGemma，可作为同类研究参考。
Meta 发布并开源 30B 多模态模型 Muse Glimmer（Apache 2.0），由 Muse 蒸馏而来，主打本地智能体场景，由 Hugging Face 在发布当日同步接入 transformers、llama.cpp、vLLM 与 Inference Endpoints，并支持基于 DFlash 的推测解码加速。
推荐理由：原文汇总 30B 多模态模型的关键基准、DFlash 加速与同日多框架支持，便于评估其在本地智能体工作流中的可用性。
MiniMax 在 Hugging Face 开源发布全模态生成系统 MiniMax-H3，统一理解文本、图像、视频与音频，并可生成最高 2K 分辨率、最长 15 秒且含原生立体声的视频。
推荐理由：原文给出 H3 三模块拆分、33B Omni-Transformer 架构与 SGLang、diffusers 部署命令，便于复现 768p 与 2K 生成流程。
Meta 推出多模态推理模型 Muse Spark 1.1，在工具调用、计算机使用、编码和多模态理解上较前代有大幅改进，支持 1M token 上下文管理，可作为主智能体调度子智能体优化延迟。开发者可通过公开预览的 Meta Model API 接入该模型，同时它在 Meta AI 应用和 meta.ai 以 Thinking 模式上线。
推荐理由：原文逐项给出 Agent、Computer Use、编码、多模态的改进点，配合 Meta Model API 公开预览，读者可直接对照工作流判断适配度。
月之暗面（Kimi）发布开源原生多模态智能体模型 Kimi K3，总参数 2.8T、激活 104B，原生支持文本、图像与视频，配备 1M token 上下文窗口。
推荐理由：Kimi K3 以 2.8T 参数和原生多模态设计开放权重，并在推理、编码与智能体多项基准上与 Claude Fable 5、GPT-5.6 Sol 等前沿模型直接对比，读者可据此查看其相对位置。
MiniMax 在 Hugging Face 发布 M3 模型的 MXFP8 量化版本 MiniMax-M3-MXFP8，总参数约 428B、激活参数约 23B，支持 1M 上下文与文本、图像、视频原生多模态训练。
推荐理由：原文给出 MSA 稀疏注意力在 1M 上下文下相对 M2 的预填充与解码加速数据，读者可据此评估长上下文部署成本。
MiniMax 在 Hugging Face 开源原生多模态模型 MiniMax-M3，支持 1M 上下文，总参数约 428B、激活参数约 23B。M3 搭载自研稀疏注意力算子 MiniMax Sparse Attention（MSA），相比 M2 在 1M 上下文下实现 9× prefill 与 15× decode 加速，单 token 计算量降至 1/20。
推荐理由：原文给出 1M 上下文与稀疏注意力算子的具体收益，读者可据此评估该模型在长上下文场景下的部署成本与吞吐。
阶跃 StepFun 发布 Step 3.7 Flash 多模态模型，采用 198B 参数稀疏 MoE 架构，每 token 激活约 11B 参数，支持 256k 上下文与低中高三档可调推理强度，最高吞吐达 400 tokens/秒。
推荐理由：Step 3.7 Flash 以 198B 稀疏 MoE 视觉语言模型形态发布，配合 256k 上下文与 ClawEval-1.1 67.1 的领先成绩，为 agent 与工具调用场景提供了从云端 API 到本地 GGUF 的完整部署参考。
StepFun 发布 198B 参数稀疏 MoE 视觉语言模型 Step 3.7 Flash，每 token 激活约 11B 参数，吞吐量最高 400 tokens/s，支持 256k 上下文窗口与低/中/高三档推理强度。
推荐理由：原文说明了该 198B MoE 模型针对高频生产与智能体工作流的定位，以及通过三档推理强度平衡成本与速度的设计取舍。
Kimi K2.6 开源发布，定位原生多模态智能体模型，重点强化长程编码、代码驱动的界面设计与 Agent Swarm 多智能体编排能力。模型采用 MoE 架构，总参数 1T、激活参数 32B、上下文长度 256K，可横向扩展至 300 个子智能体执行 4000 步协同任务，并在单次自主运行中产出文档、网页、表格等端到端结果。
推荐理由：原文给出 K2.6 与 GPT-5.4、Claude Opus 4.6、Gemini 3.1 Pro 在 Agentic、编码、推理、视觉四类基准的多维对比，可作为开源前沿模型与闭源旗舰能力差距的一手参考。
Meta Superintelligence Labs 发布 Muse Spark 模型，原生多模态推理，支持工具调用、视觉思维链和多智能体编排。其 Contemplating 模式通过多智能体并行推理，在 Humanity's Last Exam 上达到 58%、FrontierScience Research 38%。
推荐理由：Muse Spark 在预训练效率和多智能体推理上给出了具体数字，可以与 Llama 4 Maverick 及同类推理模型横向比较。
Moonshot AI 发布开源原生多模态智能体模型 Kimi K2.5，基于 Kimi-K2-Base 用约 15T 视觉和文本混合 token 继续预训练，支持即时与思考双模式及 Agent Swarm 协同执行。
推荐理由：原文给出 1T/32B MoE 架构与 256K 上下文的多模态智能体能力，并附与 GPT-5.2、Claude 4.5 Opus、Gemini 3 Pro 的横评。
xAI 发布 Grok 新一代图像生成模型 Aurora，采用自回归混合专家架构，已在 X 平台向部分国家开放，一周内全量上线。Aurora 基于海量互联网样本训练，主打照片级真实感与文本指令遵循度，能精确渲染真实实体、文字、商标与人像。
推荐理由：原文给出了 Aurora 的自回归 MoE 架构、原生多模态图像输入与编辑能力，及其在 X 平台的分阶段上线节奏，便于与同代图像生成模型做横向对比。