技术方向
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
222 条精选近 30 天 196 条共收录 273 条
本文在多模态语言模型中发现一个名为 S-Space 的线性表征子空间，其物体 token 表征会沿水平、垂直和距离轴编码连续坐标，并随非空间问题也保持可读。研究表明 S-Space 是模型内部的空间工作区，可被感知写入、内部推理转换，并在语言回答时被选择性读取。作者进一步把它用作空间推理失败的诊断工具，指出模型虽能形成合格的空间表征，但在跨视角变换所需的空间推理上存在关键瓶颈。
推荐理由：提供把多模态语言模型空间表征拆成可读子空间的方法，能用来诊断空间推理失败并定位瓶颈。
腾讯优图实验室开源 5B 参数的全模态解析模型 Youtu-Parsing-Omni，统一处理文档页、自然图像、图表、流程图、几何图、音频与音视频，并按任务提示统一输出 JSON。
推荐理由：5B 全模态解析模型在 OmniDocBench 居首、OmniParsingBench 仅次 Gemini-3-Pro，是评估小尺寸多模态模型能力上限的参考。
MiMo-V2.6 是一个面向自我提升的全模态模型系列，沿三条维度扩展强化学习算力：在最长 1M 上下文下，每步处理 1,568 样本、2.7-3.7B token 的异步训练；覆盖代码、通用、视觉和赛博领域的智能体环境；以及通过分组智能体评分提供更长链任务奖励信号。为稳定训练，论文还冻结 MoE 路由器并建立多层防奖励作弊机制，并开源训练动态、RL 环境和 RL 框架。
推荐理由：报告给出了训练算力、采样与环境三维度扩展的具体数字与稳定策略，并开源训练动态与框架，可作为大规模 RL 训练的参考路径。
美国AI视频公司Tavus发布新模型Griffin-Lite，并将其定义为"人类交互模型"，宣称是首个通过"视频图灵测试"的实时视频对话模型。在一项54人参与的1分钟视频通话测试中，48%的受试者误以为对方是真人，上一代系统在同一测试中该比例仅为2.4%。Griffin-Lite与传统语音助手不同，可在双方同时说话时实时作出附和或打断的反应。
推荐理由：原文给出了上一代 2.4% 到 Griffin-Lite 48% 的视频图灵测试对比结果，为评估实时视频对话模型拟人度提供了一组可参照的数据。
论文提出面向 GUI 智能体的潜在世界动作模型，把世界模型预测目标从像素空间全屏重建转向潜在空间中的动作诱导未来信息，并通过动作感知对比损失缓解 identity shortcut。
推荐理由：论文把 GUI 世界模型预测从像素重建改为潜在空间表示，给出相对像素基线的成功率与延迟提升，并随附开源代码。
面壁 MiniCPM-V 4.7 35B-A3B 系列模型上线，其中 FP8 量化版本已托管在 Hugging Face。
推荐理由：原文详述了 MoE 模型在 iPhone 端侧流畅推理的工程组合并给出 13+ tokens/s 实测速度，对评估同类模型的端侧落地可行性有参考价值。
论文提出 Humanity's Sixth Sense（HSS）基准，用于评估多模态大语言模型的直观视觉推理能力。HSS 覆盖图像与视频输入，按直觉性的时间、空间、社交和抽象结构组织题目，人类受试者准确率达 93.1%，而最强模型 GPT-6-astra 在最大推理强度下仅 53.6%；引入动态视觉操作的智能体设置能缩小差距，但仍未弥合人与模型之间的鸿沟。
推荐理由：论文提出直观视觉推理这一评测轴，人类准确率 93.1% 而最强模型仅 53.6%，为多模态模型的差距对比提供了可量化的标尺。
SepGen 扩展预训练音视频生成器，在一次联合采样中同时输出视频、混合音轨以及按字幕逐个声源的波形，支持生成和分离两种互补模式。在给定音频混音和带台词字幕时，SepGen 在语音场景下优于语言条件分离器，且在字幕去掉台词后仍保持领先。代码、检查点与数据集已发布在 https://sepgen.github.io 。
推荐理由：SepGen 在一次采样中同时输出视频、混合音轨和各声源波形，并给出可与语言条件分离基线直接对比的语音场景实验结果。
研究团队发布 DataVista 基准，包含 961 个真实数据视频和 6775 道评估题，按数据感知、时序推理、叙事理解三层能力框架、10 类细粒度问题与 5 个主题领域组织，用于系统评测多模态大模型的数据视频理解能力。
推荐理由：原文提出数据视频理解新基准，并系统对比 19 个主流多模态模型在感知、推理、叙事三层能力上的差距。
Liquid AI 开源两款 d1 系列端侧决策模型 d1-3B 与实验版 d1-omni-600M，分别支持文本+图像和文本+图像/音频输入，单次前向传播而非生成 token。
推荐理由：d1-3B 与 d1-omni-600M 在七个公开基准和多款 Jetson 设备上的跑分被详细列出，读者可直接对照 Decider 系列判断端侧决策模型的部署价值。
Google DeepMind 发布 EmbeddingGemma 2 多模态嵌入模型，740M 参数、Apache 2.0 协议，在 MTEB Code 上从 68.76 提升至 78.68。
推荐理由：原文给出了 EmbeddingGemma 2 在子 1B 多模态嵌入基准上的表现与端侧显存占用，读者可据此评估它在本地检索管线中的取舍。
Mistral 推出 1T 总参数、49B 激活参数的原生多模态大模型 Mistral Large 4 公开预览版，权重计划月底开源，API 已上线 Mistral Studio。
推荐理由：Mistral 推出 1T 总参数、49B 激活参数的多模态大模型 ML4 公开预览版，并附带编码、Agent、网络安全、视觉理解与科学推理等多个基准的逐项对比数据与训练基础设施介绍。
CADFather 是一个面向 CAD 自动重建的智能体系统，通过协调多种互补工具从三维网格恢复参数化 CAD 程序。系统由视觉语言助手检查目标与中间重建的渲染图，决定调用哪些工具、生成多少候选程序以及何时终止，候选生成与参数优化相互衔接并以执行反馈驱动下一步决策。
推荐理由：原文给出多工具协同的智能体重建框架及多个 CAD 数据集上的评测，读者可据此判断该方法对自己工程重建任务的迁移性。
VisionWeave 为多模态大模型引入端到端学习弹性视觉表征的能力，结合门控空间池化器与粒度路由器两个组件。基于 Qwen3.8-27B（自蒸馏训练超过 30K A100 GPU 小时），平均节省 43.0% token 同时在八个基准上保持 98.9% 原生性能，显著优于固定 50% 剪枝基线仅保留的 88%。
推荐理由：给出了在多模态大模型中端到端学习弹性视觉表征的具体方法，并以 token 节省与吞吐数据展示相对固定剪枝方案的效率优势。
MemPilot 论文提出一个用强化学习动态调度多模态智能体记忆策展的框架，按偏好平衡性能、成本与延迟。策略联合控制证据量、策展指令、模型选择和视觉访问，并通过目标维度优势解耦和前缀边际效用估计做多步信用分配；在五个多模态智能体记忆基准上的偏好扫描显示其权衡前沿优于现有基线。
推荐理由：这篇论文提出用强化学习运行时调度多模态记忆策展的方法，可参考其性能-成本-延迟权衡的设计思路。
量子位分析称，AI 3D生成公司Meshy披露其ARR在不到两年内从100万美元增长至1亿美元。文章对比GPT-6 Astra与Meshy的3D生成能力差异，指出通用模型擅长几何关系任务。
推荐理由：文章从GPT-6 Astra与专业3D模型的对比出发，解释了Meshy在ARR和商业循环上的快速积累，对理解通用大模型与垂直模型的分工边界有参考价值。
Google 官方汇总 2026 年 9 月 AI 发布动态，重点推出 Gemini 4 Argon 前沿模型（1-million-token 上下文窗口、面向网络安全防御，通过 Fairwind Program 向可信用户开放），以及 Gemini 3.8 Flash、3.8 Flash Cyber、3.8 Live、3.8 Flash TTS 等模型。
推荐理由：汇总 Gemini 4 Argon、3.8 Flash 系列、Live、TTS、Connected Apps、Project Suncatcher 等多项发布，读者可据此了解当月 Google AI 的整体动向。
小米发布 MiMo-V2.6 系列原生全模态开源模型，旗舰 MiMo-V2.6-Pro 总参数 1.02T / 激活 42B，登顶 Artificial Analysis 开源权重智能指数（46），定价 $0.435/M 输入、$0.87/M 输出 token，采用 MIT 协议。
推荐理由：在各家闭源前沿模型与轻量开源模型之间，小米以原生全模态、MIT 协议和 $2.6M 的 RL 后训练给出了开源权重的对照样本。
Latent Space AINews 周报报道非生成式决策模型 Jev 发布两天内出现 6 个开源复现项目，包括 Laya（421M 参数 ModernBERT-large）。
推荐理由：它把过去两天的 Jev 开源复现方向关键作品与本周 Claude Code、Anthropic 独立评估合作等进展集中整理，方便一次性对照。
Google 在官方博客公布多语种 AI 最新能力：Gemini 3.5 Live Translate 支持 70 种语言、2000+ 语言对的实时语音翻译并能处理 code-switching 与情绪线索，Gemini 3.5 Transcribe 提供高精度语音转写，覆盖 55 种语言的轻量开源模型 TranslateGemma 可端侧离线运行。
推荐理由：原文汇总了 Google 在实时语音翻译、端侧模型与社区数据合作上的最新进展，读者可以据此了解不同网络条件下的可用能力。