VepAgent:通过工具增强强化学习桥接因果转换以实现视频事件预测
VepAgent 提出一个面向视频事件预测的智能体框架,将因果转换推理与工具增强强化学习结合,在 FutureBench 和 NEPBench 数据集上达到 SOTA,显著超越更大规模的 MLLM。其构建了 futurebench-4K 思维链数据集用于监督微调,并集成状态追踪、帧检索和区域放大等诊断工具,通过复合奖励机制联合优化预测精度、因果一致性与可靠先验。
VepAgent 提出一个面向视频事件预测的智能体框架,将因果转换推理与工具增强强化学习结合,在 FutureBench 和 NEPBench 数据集上达到 SOTA,显著超越更大规模的 MLLM。其构建了 futurebench-4K 思维链数据集用于监督微调,并集成状态追踪、帧检索和区域放大等诊断工具,通过复合奖励机制联合优化预测精度、因果一致性与可靠先验。
RGPO 框架将真实 Rationale 作为临时支架,自适应辅助大语言模型强化学习训练,以缓解奖励稀疏问题。该方法在纯文本与视觉-语言推理任务中均优于 RLVR 基线,且不要求离线数据与 RL 任务格式匹配,为推理模型训练提供了一种通用方案。
量子位分析称,AI 3D生成公司Meshy披露其ARR在不到两年内从100万美元增长至1亿美元。文章对比GPT-6 Astra与Meshy的3D生成能力差异,指出通用模型擅长几何关系任务。
推荐理由:文章从GPT-6 Astra与专业3D模型的对比出发,解释了Meshy在ARR和商业循环上的快速积累,对理解通用大模型与垂直模型的分工边界有参考价值。
PerturBot 提出一种针对 VLA 模型的扰动训练框架,通过手腕视角扰动、决策相关指令扩写与失败轨迹重标注三种手段,打破策略对模态捷径的依赖。方法不改变推理流程,并配套提出离线诊断指标 GroundingFscore,用于衡量策略对任务证据而非捷径先验的依赖程度。
Google 官方汇总 2026 年 9 月 AI 发布动态,重点推出 Gemini 4 Argon 前沿模型(1-million-token 上下文窗口、面向网络安全防御,通过 Fairwind Program 向可信用户开放),以及 Gemini 3.8 Flash、3.8 Flash Cyber、3.8 Live、3.8 Flash TTS 等模型。
推荐理由:汇总 Gemini 4 Argon、3.8 Flash 系列、Live、TTS、Connected Apps、Project Suncatcher 等多项发布,读者可据此了解当月 Google AI 的整体动向。
一款 AI 工具可通过脑扫描重建人所见图像,也能由图像预测大脑活动,有望帮助闭锁状态患者沟通,但也引发未经同意解读内心图像的担忧。与此同时,受大型公用储能因火灾风险遭遇社区抵制的影响,创业公司正将小型分布式电池部署到电磁炉、餐车等场景,帮助用户降低电费和污染。
EditHero 是首个面向长时程部件级 3D 编辑的基准,提供自然语言指令与几何/纹理目标图像,编辑序列经人工审核。研究对比自上而下从学习到的 3D 表示重新生成对象的非智能体方法,以及通过代码自下而上修改网格的 LLM/VLM 智能体。非智能体方法常遗漏目标改动并扰动其他区域,多数 LLMs 遵循指令更准确且更好保留未编辑部分,但每次编辑耗时数分钟。
研究提出选择式结构化推理(SSR)框架,将多模态搜索智能体的推理从开放式生成改为从预定义自然语言候选中选取,以降低小模型开销。在 2B 和 4B 模型、七个多模态搜索基准上,SSR 结合监督微调与多种强化学习目标,在任务成功率与同规模领先搜索智能体相当的同时,将单轮推理延迟降低超过 90%,整体每题模型推理延迟降低 28-54%。
研究者提出 Architect-Ant 框架与 AntPlan 数据集(505 张专业平面图、92 类家具、10 种房间),对真实建筑平面图自动生成可编辑家具布局,无需预设推理轨迹。其功能完整性与布局规则得分在对比基线中最高,几何违规更低,生成速度显著快于迭代式 agentic 方法,输出可直接转为 3D 场景。
Condé Nast 与 AWS Generative AI Innovation Center 合作,基于 Amazon Bedrock 和 Amazon OpenSearch Service 构建多模态视频检索方案,将单次内容发现时间从平均 250 分钟缩短至 2 分钟以内。
Microsoft Research Asia – Singapore 于 2025 年 7 月 24 日作为微软在东南亚设立的首个研究实验室落地,运营一年后团队持续扩张,围绕下一代 AI 模型与智能体系统、领域专用 AI、AI 原生研究实践及生态与人才发展四大方向开展研究。
GeoSET 是首个面向 SAR-to-EO 图像翻译的通用基础模型,基于单一预训练父模型通过统一协议适配下游任务。团队从逾千万 SAR 观测中精选 300 万对样本,提出散斑鲁棒 SAR 编码器,借助 LoRA 仅需更新 0.60% 生成器参数,每数据集约一小时即可适配。该模型在六个下游基准的 FID 与 DISTS 上均取得 SOTA。
Google 在官方博客公布多语种 AI 最新能力:Gemini 3.5 Live Translate 支持 70 种语言、2000+ 语言对的实时语音翻译并能处理 code-switching 与情绪线索,Gemini 3.5 Transcribe 提供高精度语音转写,覆盖 55 种语言的轻量开源模型 TranslateGemma 可端侧离线运行。
推荐理由:原文汇总了 Google 在实时语音翻译、端侧模型与社区数据合作上的最新进展,读者可以据此了解不同网络条件下的可用能力。
DeepSeek 发布多模态 MoE 模型 DeepSeek-V4.1-Flash,采用 CED 架构、CSA2 与 FP4 KV cache 等压缩手段,将全局 KV cache 占用压至每 token 890 字节,相对 DeepSeek-V4-Flash 和 DeepSeek-V1 分别缩减约 4 倍与 437 倍。
推荐理由:原文给出 CED 架构、CSA2 与 FP4 KV cache 等具体压缩设计,并对照 Opus-5.0、GPT-5.6 等前沿模型列出 agentic 基准成绩,读者可据此评估压缩策略对推理成本的实际收益。
Gradio 团队发布 Workflow1111,用 73 个节点、11 条媒体管线在 Gradio Workflow 画布上复刻了 AUTOMATIC1111 的大部分功能,包括文本生图、高清修复、图像编辑、prompt 矩阵、VLM 反推、检测生成 inpaint 蒙版、Annotator、上采样、背景移除、PNG Info 与图生视频。
推荐理由:把 AUTOMATIC1111 的常见图像生成流程拆成 Gradio Workflow 节点,读者可以对照 ComfyUI 评估这种节点式工作流在多模型组合和 MCP 调用上的差异。
DeepSeek 发布 V4 系列首个实验性多模态模型 DeepSeek-V4-Flash-Vision-Exp,在 V4-Flash 架构上加入视觉模块继续训练。
推荐理由:仓库同时给出与 Opus-4.8 的多模态 Agent 基准对比和开源推理实现,读者可据此判断它在 V4 系列里的相对位置。
Google DeepMind 推出 Gemini Omni 1.1 Flash,新增场景延长、首尾帧插值、4K 放大和视频参考等视频生成控制能力。场景延长可参考最多 10 秒上文,单次累计上限 40 秒;360p 预览生成速度比 720p 快 60%,成本降至三分之一。
推荐理由:原文列出了 Omni 1.1 Flash 在场景延长、首尾帧插值和 4K 放大等具体控制能力上的更新,可帮助开发者判断它能接入哪些视频生产工作流。
智谱发布 GLM-5.3-Flash,是 GLM-5 系列首个原生多模态模型,总参数 320B、激活 18B,价格为 GLM-5.2 的十分之一,编码与智能体基准接近 Claude Opus 4.8。
推荐理由:读者可以横向比较 GLM-5.3-Flash 与 Claude Opus 4.8 在编码与智能体基准上的差距,并参考其混合注意力与稀疏激活设计评估部署成本。
千问(Qwen)在 Hugging Face 开源 Qwen3.8-Flash-Next 的 FP8 量化权重,称其为 Qwen4 架构的实验性预览版本。该模型总参数 125B、激活 6B,并附带 51B n-gram embedding 与 4B MTP,原生 262,144 tokens 上下文可通过 YaRN 扩展至 1,000,000 tokens。
推荐理由:作为 Qwen4 架构的实验预览,文中给出的稀疏注意力与 N-gram 嵌入设计可与既有 MoE 路线横向对照。
Google DeepMind 发布手语转文本模型 SL2T,并在 Pixel 11 上的 Gboard 与 Live Transcribe 中首发 ASL→英文 实时转写功能。
推荐理由:SL2T 在 Gboard 与 Live Transcribe 上首发,文中给出了训练规模、关键基准和隐私设计,便于读者评估实际可用性。
微软研究院发布胸片视觉语言研究模型 CARE-X,在 ReXVQA 上以 94% 准确率排名第一,比次优公开模型高 6 个百分点。
推荐理由:微软研究院给出 CARE-X 辅助头与 DAPO 强化学习结合的训练方法,并在 ReXVQA 等胸片基准上对比 CheXOne、MedGemma,可作为同类研究参考。
Meta 发布并开源 30B 多模态模型 Muse Glimmer(Apache 2.0),由 Muse 蒸馏而来,主打本地智能体场景,由 Hugging Face 在发布当日同步接入 transformers、llama.cpp、vLLM 与 Inference Endpoints,并支持基于 DFlash 的推测解码加速。
推荐理由:原文汇总 30B 多模态模型的关键基准、DFlash 加速与同日多框架支持,便于评估其在本地智能体工作流中的可用性。
MiniMax 在 Hugging Face 开源发布全模态生成系统 MiniMax-H3,统一理解文本、图像、视频与音频,并可生成最高 2K 分辨率、最长 15 秒且含原生立体声的视频。
推荐理由:原文给出 H3 三模块拆分、33B Omni-Transformer 架构与 SGLang、diffusers 部署命令,便于复现 768p 与 2K 生成流程。
Meta 推出多模态推理模型 Muse Spark 1.1,在工具调用、计算机使用、编码和多模态理解上较前代有大幅改进,支持 1M token 上下文管理,可作为主智能体调度子智能体优化延迟。开发者可通过公开预览的 Meta Model API 接入该模型,同时它在 Meta AI 应用和 meta.ai 以 Thinking 模式上线。
推荐理由:原文逐项给出 Agent、Computer Use、编码、多模态的改进点,配合 Meta Model API 公开预览,读者可直接对照工作流判断适配度。
月之暗面(Kimi)发布开源原生多模态智能体模型 Kimi K3,总参数 2.8T、激活 104B,原生支持文本、图像与视频,配备 1M token 上下文窗口。
推荐理由:Kimi K3 以 2.8T 参数和原生多模态设计开放权重,并在推理、编码与智能体多项基准上与 Claude Fable 5、GPT-5.6 Sol 等前沿模型直接对比,读者可据此查看其相对位置。
MiniMax 在 Hugging Face 发布 M3 模型的 MXFP8 量化版本 MiniMax-M3-MXFP8,总参数约 428B、激活参数约 23B,支持 1M 上下文与文本、图像、视频原生多模态训练。
推荐理由:原文给出 MSA 稀疏注意力在 1M 上下文下相对 M2 的预填充与解码加速数据,读者可据此评估长上下文部署成本。
MiniMax 在 Hugging Face 开源原生多模态模型 MiniMax-M3,支持 1M 上下文,总参数约 428B、激活参数约 23B。M3 搭载自研稀疏注意力算子 MiniMax Sparse Attention(MSA),相比 M2 在 1M 上下文下实现 9× prefill 与 15× decode 加速,单 token 计算量降至 1/20。
推荐理由:原文给出 1M 上下文与稀疏注意力算子的具体收益,读者可据此评估该模型在长上下文场景下的部署成本与吞吐。
阶跃 StepFun 发布 Step 3.7 Flash 多模态模型,采用 198B 参数稀疏 MoE 架构,每 token 激活约 11B 参数,支持 256k 上下文与低中高三档可调推理强度,最高吞吐达 400 tokens/秒。
推荐理由:Step 3.7 Flash 以 198B 稀疏 MoE 视觉语言模型形态发布,配合 256k 上下文与 ClawEval-1.1 67.1 的领先成绩,为 agent 与工具调用场景提供了从云端 API 到本地 GGUF 的完整部署参考。
StepFun 发布 198B 参数稀疏 MoE 视觉语言模型 Step 3.7 Flash,每 token 激活约 11B 参数,吞吐量最高 400 tokens/s,支持 256k 上下文窗口与低/中/高三档推理强度。
推荐理由:原文说明了该 198B MoE 模型针对高频生产与智能体工作流的定位,以及通过三档推理强度平衡成本与速度的设计取舍。
Kimi K2.6 开源发布,定位原生多模态智能体模型,重点强化长程编码、代码驱动的界面设计与 Agent Swarm 多智能体编排能力。模型采用 MoE 架构,总参数 1T、激活参数 32B、上下文长度 256K,可横向扩展至 300 个子智能体执行 4000 步协同任务,并在单次自主运行中产出文档、网页、表格等端到端结果。
推荐理由:原文给出 K2.6 与 GPT-5.4、Claude Opus 4.6、Gemini 3.1 Pro 在 Agentic、编码、推理、视觉四类基准的多维对比,可作为开源前沿模型与闭源旗舰能力差距的一手参考。
Meta Superintelligence Labs 发布 Muse Spark 模型,原生多模态推理,支持工具调用、视觉思维链和多智能体编排。其 Contemplating 模式通过多智能体并行推理,在 Humanity's Last Exam 上达到 58%、FrontierScience Research 38%。
推荐理由:Muse Spark 在预训练效率和多智能体推理上给出了具体数字,可以与 Llama 4 Maverick 及同类推理模型横向比较。
Moonshot AI 发布开源原生多模态智能体模型 Kimi K2.5,基于 Kimi-K2-Base 用约 15T 视觉和文本混合 token 继续预训练,支持即时与思考双模式及 Agent Swarm 协同执行。
推荐理由:原文给出 1T/32B MoE 架构与 256K 上下文的多模态智能体能力,并附与 GPT-5.2、Claude 4.5 Opus、Gemini 3 Pro 的横评。
xAI 发布 Grok 新一代图像生成模型 Aurora,采用自回归混合专家架构,已在 X 平台向部分国家开放,一周内全量上线。Aurora 基于海量互联网样本训练,主打照片级真实感与文本指令遵循度,能精确渲染真实实体、文字、商标与人像。
推荐理由:原文给出了 Aurora 的自回归 MoE 架构、原生多模态图像输入与编辑能力,及其在 X 平台的分阶段上线节奏,便于与同代图像生成模型做横向对比。
xAI 发布 Grok-2 与 Grok-2 mini Beta,已在 𝕏 平台对 Premium 和 Premium+ 用户开放测试,企业 API 将于本月晚些时候上线。
推荐理由:原文给出 LMSYS Elo 排名与多项学术基准对比,读者可直接看到 Grok-2 与 GPT-4 Turbo、Claude 3.5 Sonnet 的相对位置。
xAI 发布首个多模态模型 Grok-1.5V 预览版,可处理文档、图表、截图和照片等视觉信息,将向早期测试者和现有 Grok 用户开放。
推荐理由:横向对比了 GPT-4V、Claude 3、Gemini Pro 1.5 在多模态基准上的表现,并同步开源真实空间理解基准 RealWorldQA。