何恺明团队提出VISTA:面向交互推理的视觉原生Harness框架
何恺明团队发布论文《VISTA》,提出面向交互推理的视觉原生Harness框架,让现有多模态模型直接观察环境、保存原始画面,并在推理时按需回看。框架包含视觉观测、无损视觉记忆和主动视觉检查三个组件,无需额外训练基础模型。
推荐理由:原文给出了视觉原生Harness的三个组件设计与多基准成绩,读者可据此对比它与传统文本式Harness在交互推理上的差异。
何恺明团队发布论文《VISTA》,提出面向交互推理的视觉原生Harness框架,让现有多模态模型直接观察环境、保存原始画面,并在推理时按需回看。框架包含视觉观测、无损视觉记忆和主动视觉检查三个组件,无需额外训练基础模型。
推荐理由:原文给出了视觉原生Harness的三个组件设计与多基准成绩,读者可据此对比它与传统文本式Harness在交互推理上的差异。
Odyssey 公司发布生成式世界模型 Odyssey-3 的公开研究预览,用户可通过文字提示实时生成交互式环境并自由探索,开发者可申请 API 访问。模型基于自回归扩散 Transformer,基础版有 140 亿参数、生成 832×480 视频,Pro 版支持 1280×720。
推荐理由:原文给出 Odyssey-3 的架构、训练数据与基准成绩,同时指出其榜单记录未达标准测试条件,便于读者独立判断能力。
以色列魏茨曼科学研究所 Michal Irani 团队开发出 Brain-IT 模型,能通过分析功能性磁共振成像(fMRI)数据,重建受试者观看图像时的视觉画面。
同一件事,精选收录的是《AI「读心」工具可通过脑扫描重建所看图像》
瑞士 AI 团队发布 Apertus 1.5,将开源 Apertus 系列从纯文本扩展到多模态推理。8B 与 70B 模型分别用 4T 和 2T tokens 继续预训练,加入图像和音频理解,上下文窗口扩至 262,144 tokens;多模态通过 tokenizer 引入,语言模型 head 仍限于文本,训练流程包含 SFT、长上下文微调、RLVR 和偏好对齐。
推荐理由:公开了从纯文本扩展到多模态推理的完整训练方案与数据合规实践,可作为开源多模态模型的构建参考。
研究团队提出 Image Factuality Assessment 任务,目标是对一张图像判定其描绘的情景是否被外部证据支持,并发布 EviLens 基准(10,174 张图像,覆盖 12 类事实错误)与 EviScene 多模态 ReAct 智能体。
推荐理由:原文把图像判别从是否 AI 生成推进到画面事实是否成立,给出基准和一个可直接复用的多模态 ReAct 智能体。
这篇论文在 MMEB 基准上系统评估了多模态嵌入对比学习的多种负样本选择、批次构建与梯度调节策略,发现多数现有策略相比标准对齐基线增益有限,部分甚至会降低整体性能。
推荐理由:论文在统一框架下复现并对比了多种对比学习策略,揭示出多数策略增益有限,并给出三条失败模式与可迁移的训练组合方案。
面壁 MiniCPM-V 4.7 35B-A3B 在 Hugging Face 开源,并同步推出 int4 量化版本,被官方称为首个在端侧可流畅运行且不损失性能的开源 MoE 多模态模型。
推荐理由:原文把 LES、细粒度分层量化和 DSpark 推测解码组合在一起作为端侧 MoE 的可迁移做法,并与 Qwen3.6 35B-A3B 直接比较效率与分数。
面壁 MiniCPM 开源 MiniCPM-V 4.7 35B-A3B 多模态模型,是 MiniCPM-V 系列第一个 MoE 变体。
推荐理由:在端侧实现无损流畅推理的开源 MoE 多模态模型,LES 专家调度与层级量化方案适合和 Qwen3.6 35B-A3B 做性能效率对比。
面壁发布 MiniCPM-V 4.7 35B-A3B,这是 MiniCPM-V 系列首个 MoE 多模态模型,结合 Lookahead Expert Scheduling(LES)跨层预测、层间细粒度量化和 DSpark 推测解码,在 iPhone 17 Pro Max 上以 13+ tokens/s 实现无损端侧流畅推理。
推荐理由:原文同时给出 iPhone 17 Pro Max 上 13+ tokens/s 的实测速度与 LES 调度、层间量化和 DSpark 推测解码三项技术细节,读者可据此评估端侧 MoE 推理的可行边界。
研究团队发布音视频字幕评测基准 OmniCapBench,把预测目标从自由文本改为可验证的原子单元,覆盖实体指代、视觉镜头和音频事件三条轨道。基准包含 786 个密集标注视频,通过确定性约束检查和局部语义对比定位 MLLM 在时间对齐、身份漂移、跨模态错位和幻觉描述上的具体错误。评测前沿 MLLM 显示其局部感知较强,但长程音视频推理明显偏弱,尤其在身份漂移和跨模态错位上问题突出。
推荐理由:该基准把音视频字幕评估拆成三条可验证轨道,能精确定位 MLLM 的具体感知错误,为全模态模型的改进提供可迁移的诊断路径。
论文提出 RISEBench 与升级版 RISEBench++,面向推理驱动的视觉编辑任务,并发布训练免费的智能体框架 RISE-Agent。RISEBench++ 拆出六类推理维度共 65 个细粒度任务类型,包含 1000 条英中人工标注样本;评测 58 种编辑方法后,最强的 GPT-Image-2.5 Sunburst 也仅取得 56.6% 准确率。
推荐理由:RISEBench++ 把视觉编辑任务拆成六类推理维度并评测 58 个方法,最强模型仅有 56.6% 准确率,为推理型视觉编辑的能力差距给出可复用的基准。
本文在多模态语言模型中发现一个名为 S-Space 的线性表征子空间,其物体 token 表征会沿水平、垂直和距离轴编码连续坐标,并随非空间问题也保持可读。研究表明 S-Space 是模型内部的空间工作区,可被感知写入、内部推理转换,并在语言回答时被选择性读取。作者进一步把它用作空间推理失败的诊断工具,指出模型虽能形成合格的空间表征,但在跨视角变换所需的空间推理上存在关键瓶颈。
推荐理由:提供把多模态语言模型空间表征拆成可读子空间的方法,能用来诊断空间推理失败并定位瓶颈。
腾讯优图实验室开源 5B 参数的全模态解析模型 Youtu-Parsing-Omni,统一处理文档页、自然图像、图表、流程图、几何图、音频与音视频,并按任务提示统一输出 JSON。
推荐理由:5B 全模态解析模型在 OmniDocBench 居首、OmniParsingBench 仅次 Gemini-3-Pro,是评估小尺寸多模态模型能力上限的参考。
OuroWorld 是一个 mask-free 框架,可将任意静态 3D Gaussian Splatting 场景转化为从任意视角无缝循环的 3D cinemagraph,支持一般形变、物体运动和光照变化。
MiMo-V2.6 是一个面向自我提升的全模态模型系列,沿三条维度扩展强化学习算力:在最长 1M 上下文下,每步处理 1,568 样本、2.7-3.7B token 的异步训练;覆盖代码、通用、视觉和赛博领域的智能体环境;以及通过分组智能体评分提供更长链任务奖励信号。为稳定训练,论文还冻结 MoE 路由器并建立多层防奖励作弊机制,并开源训练动态、RL 环境和 RL 框架。
推荐理由:报告给出了训练算力、采样与环境三维度扩展的具体数字与稳定策略,并开源训练动态与框架,可作为大规模 RL 训练的参考路径。
美国AI视频公司Tavus发布新模型Griffin-Lite,并将其定义为"人类交互模型",宣称是首个通过"视频图灵测试"的实时视频对话模型。在一项54人参与的1分钟视频通话测试中,48%的受试者误以为对方是真人,上一代系统在同一测试中该比例仅为2.4%。Griffin-Lite与传统语音助手不同,可在双方同时说话时实时作出附和或打断的反应。
推荐理由:原文给出了上一代 2.4% 到 Griffin-Lite 48% 的视频图灵测试对比结果,为评估实时视频对话模型拟人度提供了一组可参照的数据。
SpatialASM 提出主动空间心智化(ASM)训练框架,让 LVLM 从被动观察图像转为主动规划视角并在内部重建缺失的空间证据,推理时无需额外视图或渲染器。该方法借助 allocentric 新视角生成器合成可验证的"规划—想象—推理"轨迹,在四个 LVLM 主干与七个空间基准上提升了空间推理能力,同时保持通用视觉能力。
论文提出面向 GUI 智能体的潜在世界动作模型,把世界模型预测目标从像素空间全屏重建转向潜在空间中的动作诱导未来信息,并通过动作感知对比损失缓解 identity shortcut。
推荐理由:论文把 GUI 世界模型预测从像素重建改为潜在空间表示,给出相对像素基线的成功率与延迟提升,并随附开源代码。
面壁 MiniCPM-V 4.7 35B-A3B 系列模型上线,其中 FP8 量化版本已托管在 Hugging Face。
推荐理由:原文详述了 MoE 模型在 iPhone 端侧流畅推理的工程组合并给出 13+ tokens/s 实测速度,对评估同类模型的端侧落地可行性有参考价值。
OpenAI 在 ChatGPT 中推出 Intelligent UI 功能,允许 GPT-6 在回答中嵌入图表、交互按钮、表单和小型工具。该功能随 GPT-6 的 Sol 和 Luna 版本一同上线,Plus、Pro、Business 和 Enterprise 用户今日即可使用,Go 和免费用户将在周四获得。
同一件事,精选收录的是《OpenAI向ChatGPT免费用户推送GPT-6 Luna,聊天框新增Intelligent UI生成图表和交互组件》
论文提出 Humanity's Sixth Sense(HSS)基准,用于评估多模态大语言模型的直观视觉推理能力。HSS 覆盖图像与视频输入,按直觉性的时间、空间、社交和抽象结构组织题目,人类受试者准确率达 93.1%,而最强模型 GPT-6-astra 在最大推理强度下仅 53.6%;引入动态视觉操作的智能体设置能缩小差距,但仍未弥合人与模型之间的鸿沟。
推荐理由:论文提出直观视觉推理这一评测轴,人类准确率 93.1% 而最强模型仅 53.6%,为多模态模型的差距对比提供了可量化的标尺。
研究者提出 Pumpire 统一基准,用于评估 3D 基础模型在图像与视频层级上的逐点度量距离估计能力,覆盖有无深度先验两种场景。团队构建了包含 100 个真实场景、每场景 64 帧共计 6,400 帧的数据集 pumpire-6k,并为每帧标注物理实测的点对距离。论文在 29 种代表性 3D 基础模型配置上展开实验,直接衡量重建几何中的点对距离误差。
SepGen 扩展预训练音视频生成器,在一次联合采样中同时输出视频、混合音轨以及按字幕逐个声源的波形,支持生成和分离两种互补模式。在给定音频混音和带台词字幕时,SepGen 在语音场景下优于语言条件分离器,且在字幕去掉台词后仍保持领先。代码、检查点与数据集已发布在 https://sepgen.github.io 。
推荐理由:SepGen 在一次采样中同时输出视频、混合音轨和各声源波形,并给出可与语言条件分离基线直接对比的语音场景实验结果。
研究团队发布 DataVista 基准,包含 961 个真实数据视频和 6775 道评估题,按数据感知、时序推理、叙事理解三层能力框架、10 类细粒度问题与 5 个主题领域组织,用于系统评测多模态大模型的数据视频理解能力。
推荐理由:原文提出数据视频理解新基准,并系统对比 19 个主流多模态模型在感知、推理、叙事三层能力上的差距。
Google 将 SynthID 检测器向公众开放,任何人都可验证图片、视频或音频是否由 Gemini、Veo、Lyria 等 Google 及合作伙伴的模型生成,支持 JPG、PNG、MP4 和 MP3 格式。
同一件事,精选收录的是《Google DeepMind 上线 SynthID Detector 用于识别 AI 生成内容》
Liquid AI 开源两款 d1 系列端侧决策模型 d1-3B 与实验版 d1-omni-600M,分别支持文本+图像和文本+图像/音频输入,单次前向传播而非生成 token。
推荐理由:d1-3B 与 d1-omni-600M 在七个公开基准和多款 Jetson 设备上的跑分被详细列出,读者可直接对照 Decider 系列判断端侧决策模型的部署价值。
Google Labs 上线 AI 游戏生成平台 Playground,用户通过文本提示词即可在浏览器中创建 2D 或 3D 游戏,无需编程经验,可选择 trivia、racing 等品类或从零开始,支持单人或多人模式,也能上传视觉素材由 AI 转为符合整体美术风格的资源。
推荐理由:将 Playground 与 Roblox Build 等同类 AI 游戏生成工具对比,可看清 Google 的产品形态、token 计费方式与跨设备支持。
Mistral 发布 Mistral Large 4,这是一款原生多模态 MoE 模型,总参数量 1T、激活参数量 49B,并提供 1M token 上下文窗口。
同一件事,精选收录的是《Mistral 推出 Mistral Large 4 公开预览版,1T 总参数原生多模态大模型》
Meshy 入选 a16z 首份消费级 AI 应用月收入 Top 50 榜单,位列第 31 名,是榜单上唯一的 AI 3D 公司,与 OpenAI、Anthropic、Canva 等共同上榜。
Google DeepMind 发布 EmbeddingGemma 2 多模态嵌入模型,740M 参数、Apache 2.0 协议,在 MTEB Code 上从 68.76 提升至 78.68。
推荐理由:原文给出了 EmbeddingGemma 2 在子 1B 多模态嵌入基准上的表现与端侧显存占用,读者可据此评估它在本地检索管线中的取舍。
OpenBMB 面壁在 Hugging Face 发布 MiniCPM-V-4.7-35B-A3B 模型,参数规模 35B,采用 BF16 张量类型。该模型当前未提供模型卡片,也暂无可用的推理服务商部署支持。
Mistral Large 4 是一款开放权重的通用多模态模型,采用细粒度 Mixture-of-Experts 架构。它有 49B 激活参数、1.05T 总参数和 1.6B 视觉编码器。
Mistral 推出 1T 总参数、49B 激活参数的原生多模态大模型 Mistral Large 4 公开预览版,权重计划月底开源,API 已上线 Mistral Studio。
推荐理由:Mistral 推出 1T 总参数、49B 激活参数的多模态大模型 ML4 公开预览版,并附带编码、Agent、网络安全、视觉理解与科学推理等多个基准的逐项对比数据与训练基础设施介绍。
CADFather 是一个面向 CAD 自动重建的智能体系统,通过协调多种互补工具从三维网格恢复参数化 CAD 程序。系统由视觉语言助手检查目标与中间重建的渲染图,决定调用哪些工具、生成多少候选程序以及何时终止,候选生成与参数优化相互衔接并以执行反馈驱动下一步决策。
推荐理由:原文给出多工具协同的智能体重建框架及多个 CAD 数据集上的评测,读者可据此判断该方法对自己工程重建任务的迁移性。
VisionWeave 为多模态大模型引入端到端学习弹性视觉表征的能力,结合门控空间池化器与粒度路由器两个组件。基于 Qwen3.8-27B(自蒸馏训练超过 30K A100 GPU 小时),平均节省 43.0% token 同时在八个基准上保持 98.9% 原生性能,显著优于固定 50% 剪枝基线仅保留的 88%。
推荐理由:给出了在多模态大模型中端到端学习弹性视觉表征的具体方法,并以 token 节省与吞吐数据展示相对固定剪枝方案的效率优势。
MemPilot 论文提出一个用强化学习动态调度多模态智能体记忆策展的框架,按偏好平衡性能、成本与延迟。策略联合控制证据量、策展指令、模型选择和视觉访问,并通过目标维度优势解耦和前缀边际效用估计做多步信用分配;在五个多模态智能体记忆基准上的偏好扫描显示其权衡前沿优于现有基线。
推荐理由:这篇论文提出用强化学习运行时调度多模态记忆策展的方法,可参考其性能-成本-延迟权衡的设计思路。
VepAgent 提出一个面向视频事件预测的智能体框架,将因果转换推理与工具增强强化学习结合,在 FutureBench 和 NEPBench 数据集上达到 SOTA,显著超越更大规模的 MLLM。其构建了 futurebench-4K 思维链数据集用于监督微调,并集成状态追踪、帧检索和区域放大等诊断工具,通过复合奖励机制联合优化预测精度、因果一致性与可靠先验。
RGPO 框架将真实 Rationale 作为临时支架,自适应辅助大语言模型强化学习训练,以缓解奖励稀疏问题。该方法在纯文本与视觉-语言推理任务中均优于 RLVR 基线,且不要求离线数据与 RL 任务格式匹配,为推理模型训练提供了一种通用方案。
量子位分析称,AI 3D生成公司Meshy披露其ARR在不到两年内从100万美元增长至1亿美元。文章对比GPT-6 Astra与Meshy的3D生成能力差异,指出通用模型擅长几何关系任务。
推荐理由:文章从GPT-6 Astra与专业3D模型的对比出发,解释了Meshy在ARR和商业循环上的快速积累,对理解通用大模型与垂直模型的分工边界有参考价值。
PerturBot 提出一种针对 VLA 模型的扰动训练框架,通过手腕视角扰动、决策相关指令扩写与失败轨迹重标注三种手段,打破策略对模态捷径的依赖。方法不改变推理流程,并配套提出离线诊断指标 GroundingFscore,用于衡量策略对任务证据而非捷径先验的依赖程度。