苹果AI国内采用双合作伙伴：阿里提供模型能力，百度负责Siri和视觉智能
苹果计划今年12月通过iOS 27.3系统更新在中国推出苹果智能，首批功能为两年前在美国已发布的AI能力，覆盖iPhone、iPad和Mac，不含今年发布的全新Siri AI助手。
推荐理由：原文展示了苹果AI在中国市场采用阿里与百度双合作伙伴的分工安排，可作为海外厂商本地化落地的参考案例。
技术方向
多模态 最新动态
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
223 条精选近 30 天 197 条共收录 274 条
更新
精选归档 · 第 8 页
36氪精选AI 评分6767 HF Daily Papers精选AI 评分3636 多模态智能体记忆机制研究：提出两轴分析框架与三级记忆管理分类
该论文提出一个两轴分析框架来研究多模态智能体的记忆机制：第一轴关注多模态信息的形成与表征，第二轴将记忆管理划分为三级，即 T1 静态记忆、T2 动态记忆和 T3 自演化记忆。基于该框架，作者归纳了若干设计模式，并提出在源保真度与抽象、时间有效性、可恢复证据以及记忆策略演化之间取得平衡的原则，论文最后讨论了多模态智能体记忆机制的未来方向。
推荐理由：论文给出了两轴分析框架与三级记忆管理分类，为评估和设计多模态智能体长期记忆系统提供了可比较的参考坐标。
HF Daily Papers精选AI 评分3535 LensErase：面向任意擦除的基础模型
LensErase 是一个 mask-based Erase Anything 基础模型，覆盖物体、视觉文本、水印、多物体移除及不同尺度、宽高比与分辨率的真实擦除场景。
推荐理由：原文同时发布模型、1.01 亿配对样本数据集和评测基准，可作为图像擦除任务的复现起点。
HF Daily Papers精选AI 评分4646 ATAS：面向长程智能体视频生成的时空一致性框架
ATAS 框架针对长程智能体视频生成中的跨镜头时空一致性问题，将剧本分解为带位置、镜头和事件时间标注的镜头请求，并在生成前从静态几何场景记忆和按场景/事件/时间索引的事件记忆中检索证据。
推荐理由：原文提出可同时处理跨镜头空间一致性和事件回放的生成框架，并在多个视频生成器基座上验证了一致性提升。
阶跃 StepFun精选AI 评分6969 阶跃星辰在 Hugging Face 发布 Step 5 Preview，主打 Agentic 工作
阶跃星辰在 Hugging Face 发布旗舰模型 Step 5 Preview，主打 Agentic 工作。该模型为稀疏 MoE 架构，总参 600B、激活 27B，支持最高 1M 上下文，可输入文本、图像和视频，重点强化软件工程、长链路智能体执行、专业知识工作与金融任务。
推荐理由：给出了 600B 总参 / 27B 激活的 MoE 架构与 vLLM/SGLang 并行部署参数，可据此搭出 1M 上下文推理集群。
Hacker News精选AI 评分3535 TypeSafe 发布 Jev 1.14.0，开放图像、box 类型与更长上下文实验能力
TypeSafe 发布 Jev 1.14.0，并以 TypeSafe-Danger-Zone-* 标志开放三项实验性能力：图像多模态（可在 JSON 字段中以 find-and-replace 插入图像）、新的 box 输出类型（用于返回单个 bounding box），以及不再受现有上限约束的更长上下文。
推荐理由：把实验性能力放在独立的 danger zone 标志下与稳定版本区分，为关心可控发布的开发者提供了一种分级启用的参考。
HF Daily Papers精选AI 评分3838 OmniXRef：支持文本、图像与视频多参考的统一视频编辑框架
OmniXRef 提出一个统一的多模态多参考视频编辑框架，允许用户在源视频上同时叠加可变数量的文本、图像与视频参考，分别控制主体外观、相机运动等不同属性。其模型 OmniXRef-Model 采用单流扩散 Transformer，将源视频与来自 MLLM 的多模态上下文在交错序列中联合处理，并引入 R^2-RoPE 位置编码以增强对更多参考的泛化能力。
推荐理由：原文提出统一框架同时接收文本、图像、视频三类参考来控制视频编辑，并给出专用训练数据和评测基准，对多模态可控视频生成有方法参考价值。
HF Daily Papers精选AI 评分3838 ACT3D：通过强化学习让视觉语言模型在 3D 环境中学会思考与主动探索
ACT3D 通过强化学习训练视觉语言模型从单张第一人称视角主动探索 3D 环境，以最终答案正确性作为奖励信号，无需对探索路径做直接监督。在六个 3D 基准上平均准确率达 53.2%，相对基座 Qwen 模型提升 22.0%、超过 Gemini 3.6 Flash，输入帧数比现有开源 3D 方法少 50-70%，并在未见过的领域平均提升 5.9%。
推荐理由：原文给出基于结果奖励的强化学习方法，让 VLM 学会在 3D 环境中自适应探索，可作为视觉问答主动感知范式的参考。
HF Daily Papers精选AI 评分4141 视觉语言模型属性-对象绑定研究：提出 SABER 基准与合成文本微调方案
论文提出 SABER 基准，揭示 CLIP 类双编码器和 MLLM 嵌入器在多模态检索中存在广泛的属性-对象绑定失败。SABER 覆盖四种图文模态配对、最多十个对象等更复杂设置；论文还展示仅用合成属性绑定文本微调 MLLM 嵌入器（无需图像监督），即可将性能迁移到跨模态和图像-图像检索，在 SABER 上取得 SOTA，同时在否定和实例检索基准上也有提升。
推荐理由：SABER 给出了跨四种图文配对的属性-对象绑定评测维度，并展示了不依赖图像监督的合成文本微调路径，对多模态检索相关工作有直接参考价值。
HF Daily Papers精选AI 评分4040 视觉生成能否拓展统一多模态模型的知识
作者提出 Knowledge Transfer Probing（KTP）协议，通过图像生成训练向预训练统一多模态模型（UMM）注入新知识，再用纯文本问答测试其可访问性。
推荐理由：论文提出 KTP 协议可控衡量视觉生成训练带来的知识迁移，给出对齐方法与可访问性差距数据，可供设计多模态训练时参考。
HF Daily Papers精选AI 评分4747 Event-STVG：面向长视频事件推理的时空视频定位基准
Event-STVG 提出长视频事件推理的时空视频定位任务与大规模基准，将重复事件区分、事件定位、角色推断和多目标定位纳入统一评测。基准覆盖足球及另外7个领域，共标注4,016次事件出现；最强模型在10分钟跨度上的 m-vIoU 仅为5.4%，并持续混淆重复同类事件。代码与标注地址为 https://github.com/THU-KEG/Event-STVG。
推荐理由：基准将重复事件区分、角色推断和多目标时空定位放在同一任务中，便于比较 MLLM 在长视频事件理解上的细粒度能力差异。
面壁 MiniCPM精选AI 评分3939 面壁 MiniCPM 开源 MiniCPM-V-4.7-35B-A3B 的 DSpark 投机解码草案模型
面壁 MiniCPM 在 Hugging Face 开源 MiniCPM-V-4.7-35B-A3B-DSpark，这是专为 MiniCPM-V-4.7-35B-A3B 配对的 DSpark 投机解码草案模型，含 5 层约 3.89 亿参数，单次前向生成 15 个 token，使用 200 万样本训练 6 轮 AdamW。
推荐理由：DSpark 草案模型的训练配方与 vLLM、llama.cpp 的投机解码接入示例都在原文给出，为 MiniCPM-V-4.7 的推理加速提供了一个现成方案。
HF Daily Papers精选AI 评分3737 Open-o3-Video-v2：以可验证时空证据进行检索、定位与推理
Open-o3-Video-v2 将视频推理建模为统一的智能体证据获取流程，先识别缺失信息、获取额外观察，再把支持推理的时空对象定位写入轨迹后继续作答。
推荐理由：原文提出把视频推理拆为可验证证据获取的智能体流程，并给出具体基准结果，读者可据此评估该范式在长视频任务上的实际收益。
HF Daily Papers精选AI 评分4545 VideoJev：面向视频理解与交互的System One模型
VideoJev 提出将视频理解与交互统一为结构化决策任务的 System One 模型族，把预训练多模态大语言模型的自回归解码替换为对时间区间与文本选项打分的共享头，从而同时覆盖时序定位和多选视频问答。
推荐理由：原文给出了统一决策接口在时序定位和视频问答上的精度增益与实测加速比，便于评估其在长视频智能体工作流中的可复用程度。
HF Daily Papers精选AI 评分4343 AesCode：基于解耦跨模态奖励的视觉化代码生成方法
AesCode 论文提出以设计图为表示、用参考图像做美学引导的视觉化代码生成框架，结合确定性验证器与 VLM 评判的解耦跨模态奖励，通过带逐通道归一化的强化学习联合优化布局、美学与可验证正确性。
推荐理由：原文给出设计图驱动的解耦跨模态奖励方案及相对 Qwen3-VL 的具体提升幅度，可作为视觉化代码生成方向的方法参考。
HF Daily Papers精选AI 评分3737 GUI 智能体记忆模态选择研究：SwitchMem 动态切换框架
本文系统研究 VLM GUI 智能体中记忆模态的选择问题，发现最优记忆表示随交互步骤强烈变化；据此提出 SwitchMem 路由框架，每步动态在文本与视觉记忆之间切换，在三个 GUI 基准上优于使用静态记忆的记忆增强基线。代码与项目页见 https://txxnrd.github.io/switchmem。
推荐理由：通过系统研究指出 GUI 智能体的最优记忆模态随交互步骤变化，并提出动态切换框架在三个基准上优于静态基线。
Latent Space精选AI 评分8787 AINews 汇总 Gemini 4 Argon 全球发布、AI Engineer NYC 与 Vals AI 评测
Gemini 4 Argon 已全球正式上线，AINews 同时汇总了 AI Engineer NYC 现场内容和多项模型评测。Argon 面向编码、知识工作、企业流程和网络安全防御开放，入门 API 价格为每百万输入/输出 token $2/$10，缓存输入优惠 95%，Artificial Analysis 称 11 月 30 日后价格将翻倍至 $4/$20。
推荐理由：文章把 Gemini 4 Argon 的发布信息、厂商案例与独立评测并列，读者可据此分辨模型能力、任务成本和可靠性之间的差异。
36氪精选AI 评分2828 瑞芯微与State Labs签署战略合作协议
近日，瑞芯微电子与State Labs在上海工博会签署战略合作协议，双方将结合瑞芯微AI芯片与State Labs端侧多模态模型能力，共同推动工业视觉智能方案规模化落地。
推荐理由：原文给出芯片厂商与端侧多模态团队的组合方式，对关注端侧推理与工业部署的读者有参考价值。
量子位精选AI 评分7070 面壁智能开源MiniCPM-V 4.7：35B多模态MoE模型3G内存即可在iPhone断网运行
面壁智能与OpenBMB正式开源多模态模型MiniCPM-V 4.7，包含35B-A3B（MoE，总参数35B、激活3B）与1B两个版本，其中35B-A3B在iPhone 17 Pro Max上仅占约3G内存，断网状态下解码速度可达每秒13个token以上。
推荐理由：原文给出了35B MoE模型仅用3G内存就能在手机上运行的前瞻专家调度与量化方案，可作为端侧部署的工程参考。
HF Daily Papers精选AI 评分3737 GAFU：利用生成侧表征提升统一多模态模型的细粒度理解
GAFU 提出一种后训练框架，将统一多模态模型的生成侧视觉表征压缩为紧凑的 G tokens，再由理解路径按任务条件检索，以提升细粒度视觉理解。论文发现，生成侧表征对细粒度语义变化更敏感，并能捕获理解侧表征遗漏的任务相关变化。
推荐理由：GAFU 的生成侧表征压缩与任务条件检索机制清晰，且与同数据 SFT 基线进行了跨任务、跨架构比较。