PrismaCoder：通过分解式评分标准合成推进开放多模态代码智能
PrismaCoder 论文提出基于分解式评分标准的数据合成流水线 PrismaForge，并据此训练发布了 PrismaCoder-9B 与 PrismaCoder-35B 两个开源模型，在多模态代码任务上领先开源 SOTA 并接近闭源系统表现。
推荐理由：原文提出了基于评分标准的多模态代码数据合成与强化学习流程，并开源了模型与数据集，可作为其他视觉编程任务的数据构建参考。
技术方向
多模态 最新动态
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
223 条精选近 30 天 197 条共收录 274 条
更新
精选归档 · 第 9 页
HF Daily Papers精选AI 评分4343 HF Daily Papers精选AI 评分3838 WorldCast：多模态生成世界状态预测基准
研究团队提出面向多模态生成模型的四层能力层级，并发布包含 320 个案例、横跨 8 个类别的 WorldCast 基准，用以评估模型从多模态观察与多样化参考中预测连续未来世界状态的能力。
推荐理由：在统一基准上量化了闭源前沿与开源模型在多步世界状态预测上的差距，方便读者对比当前能力阶段。
HF Daily Papers精选AI 评分3838 RoTA-Bench：通过交互式投影对齐评估 3D 空间推理
RoTA-Bench 通过交互式 3D-2D 投影对齐任务，评估视觉语言模型把 2D 观察转化为精确 3D 旋转控制的能力，自动构建了 674 道题和分层 100 题测试集，并利用可逆初始化确保可解性。
推荐理由：基准显示 GPT-5.6-Sol 仅有 17% 通过率，与人类 100% 表现存在显著差距，揭示了 2D 视觉到 3D 旋转控制的难点。
HF Daily Papers精选AI 评分4444 Intern Lumina U2：面向全视觉理解与图像生成的多码本扩散大语言模型
Intern Lumina U2 是一种扩散语言模型，用多码本离散视觉 token 在单一骨干网络中统一图像、视频与 3D 生成及文本建模。作者报告该模型在视觉理解、图像生成与编辑上达到领先性能，并提出稳定性感知采样策略将图像生成加速 4.45 倍，代码已在 GitHub 开源。
推荐理由：原文提出多码本扩散语言模型架构，统一文本建模与视觉生成并兼顾推理效率，可与既有统一多模态方案对照。
Latent Space精选AI 评分8585 Meta 发布第二代 Muse Wonder 与 Muse Wonder Full 模型
Meta Superintelligence Labs 发布第二代 Muse 模型家族，Muse Wonder 为快速版本，max-reasoning 的 Muse Wonder Full 仅面向 Muse Code 订阅者。
推荐理由：汇总独立评测、定价和可用性差异，帮助读者比较 Muse Wonder 与其他前沿模型在智能体、编码和长任务执行中的能力与成本。
36氪精选AI 评分5656 复旦系AI公司模思智能完成超10亿元Pre-A轮融资，发力情境智能
模思智能近日完成超10亿元Pre-A轮融资，由华控基金联合领投，资金将用于全模态实时交互系统MOSS Live的研发与全球商业化落地。公司由复旦大学特聘教授邱锡鹏创办，CEO李世民介绍其目标是让AI理解物理环境中的持续信息流，从回答问题走向持续在场，未来进入眼镜、车、玩具、机器人等终端实现实时双工交互。
推荐理由：模思智能在超10亿元融资中押注情境智能与全模态实时交互，可帮助判断多模态语音赛道目前的资本关注点与技术路径。
HF Daily Papers精选AI 评分3535 OmniCompass：面向多模态视频定位与理解的综合基准
OmniCompass 是一个用于多模态视频定位与理解的全景评测基准，包含 OmniCompass-VL 和 OmniCompass-AV 两条评估轨道，分别针对视觉-语言与音视频联合推理，每条轨道覆盖时序定位、空间定位和问答三类任务。
推荐理由：给出一个同时覆盖音视频与视觉-语言的多模态视频理解基准，便于系统化诊断模型的时序、空间与跨模态短板。
36氪精选AI 评分3838 影石举办智能影像黑客松，公布从AI剪辑到移动摄影师的路线
影石在南京举办2026 Bold Maker智能影像挑战赛，首次公开移动摄影师计划，将智能影像拆分为选、拍、剪、传四个环节并由AI全程参与。已落地的产品包括多模态语音助手Kira、结合通用大模型与全景模型PanoMind的时刻Pro自动剪辑服务，以及利用3D重建的3D时光仓，影石披露Insta360+付费用户同比增长超124%。公司还表示将围绕全景视觉向研究社区开放论文、数据集和工具。
推荐理由：从活动现场可以看清影石把AI能力嵌入拍摄链路的具体产品，以及向自主移动拍摄系统扩展的思路。
HF Daily Papers精选AI 评分3737 X-Ragent：面向胸片诊断的工具增强强化学习框架
论文提出 X-Ragent，一种面向胸片证据推理的工具增强强化学习后训练框架，将辅助证据检索与有效性门控的定量测量解耦。方法先用 7.7K 样本的 Rad-CoT 数据集对 Qwen3-VL-8B 做智能体监督微调，再用 GRPO 结合仅对正确轨迹生效的过程级奖励做策略优化；在三个胸片基准上取得最优结果，其中完全留出的 ChestAgentBench 提升 8.6 个点。
推荐理由：提出面向胸片诊断的工具增强强化学习框架，并给出三基准实验与 GRPO 训练流程，可作为医疗多模态智能体的方法参考。
HF Daily Papers精选AI 评分3636 VEDJE：面向可扩展视频文本检索的高效判别联合编码器
VEDJE 用 33M 参数联合编码器在压缩缓存上做视频文本检索，在 MSR-VTT 上以约 49× 更少在线参数达到 59.8 R@1。每段视频压缩至 48 KiB，约为原始视觉特征的 1/128.5，并在匹配的首阶段检索器上额外提升 3.6–7.2 R@1。作者还引入特征变化预测目标以改善检索精度，代码与 Colab 演示已开源。
推荐理由：用一次性视频压缩配合轻量联合编码器替代完整视频重编码，给出了可复现的开源实现和多模态检索的工程取舍。
HF Daily Papers精选AI 评分3939 AUGUstus：统一生成与理解的自动驾驶 VLA 模型
AUGUstus 提出一种统一扩散式动作生成与自回归 CoT 理解的自动驾驶 VLA 模型，训练时 CoT 监督动作生成，推理时仅输出动作以实现低延迟。该模型在 NAVSIMv1 取得 94.6 PDMS，NAVSIMv2 取得 90.7 EPDMS，均为不使用 scorer 模块的 SOTA；在 nuScenes 上平均 L2 误差 0.27 m、平均碰撞率 0.05%。
推荐理由：原文在自动驾驶 VLA 模型的速度与可解释性权衡下提出统一扩散动作生成与自回归 CoT 的方案，端到端规划方向可参考其训练与推理分离的思路。
量子位精选AI 评分5555 何恺明团队提出VISTA：面向交互推理的视觉原生Harness框架
何恺明团队发布论文《VISTA》，提出面向交互推理的视觉原生Harness框架，让现有多模态模型直接观察环境、保存原始画面，并在推理时按需回看。框架包含视觉观测、无损视觉记忆和主动视觉检查三个组件，无需额外训练基础模型。
推荐理由：原文给出了视觉原生Harness的三个组件设计与多基准成绩，读者可据此对比它与传统文本式Harness在交互推理上的差异。
The Decoder精选AI 评分6262 Odyssey 发布 Odyssey-3 生成式世界模型，可免费试用
Odyssey 公司发布生成式世界模型 Odyssey-3 的公开研究预览，用户可通过文字提示实时生成交互式环境并自由探索，开发者可申请 API 访问。模型基于自回归扩散 Transformer，基础版有 140 亿参数、生成 832×480 视频，Pro 版支持 1280×720。
推荐理由：原文给出 Odyssey-3 的架构、训练数据与基准成绩，同时指出其榜单记录未达标准测试条件，便于读者独立判断能力。
HF Daily Papers精选AI 评分5959 Apertus 1.5：从开放文本模型到开放多模态推理模型
瑞士 AI 团队发布 Apertus 1.5，将开源 Apertus 系列从纯文本扩展到多模态推理。8B 与 70B 模型分别用 4T 和 2T tokens 继续预训练，加入图像和音频理解，上下文窗口扩至 262,144 tokens；多模态通过 tokenizer 引入，语言模型 head 仍限于文本，训练流程包含 SFT、长上下文微调、RLVR 和偏好对齐。
推荐理由：公开了从纯文本扩展到多模态推理的完整训练方案与数据合规实践，可作为开源多模态模型的构建参考。
HF Daily Papers精选AI 评分4545 EviScene 把图像评估从是否 AI 生成推进到场景事实性判定
研究团队提出 Image Factuality Assessment 任务，目标是对一张图像判定其描绘的情景是否被外部证据支持，并发布 EviLens 基准（10,174 张图像，覆盖 12 类事实错误）与 EviScene 多模态 ReAct 智能体。
推荐理由：原文把图像判别从是否 AI 生成推进到画面事实是否成立，给出基准和一个可直接复用的多模态 ReAct 智能体。
HF Daily Papers精选AI 评分4040 哪些对比学习策略真正有效：通用多模态嵌入的受控研究
这篇论文在 MMEB 基准上系统评估了多模态嵌入对比学习的多种负样本选择、批次构建与梯度调节策略，发现多数现有策略相比标准对齐基线增益有限，部分甚至会降低整体性能。
推荐理由：论文在统一框架下复现并对比了多种对比学习策略，揭示出多数策略增益有限，并给出三条失败模式与可迁移的训练组合方案。
面壁 MiniCPM精选AI 评分4242 面壁发布 MiniCPM-V 4.7 35B-A3B：首个端侧无损推理的开源 MoE 多模态模型，附 int4 量化版
面壁 MiniCPM-V 4.7 35B-A3B 在 Hugging Face 开源，并同步推出 int4 量化版本，被官方称为首个在端侧可流畅运行且不损失性能的开源 MoE 多模态模型。
推荐理由：原文把 LES、细粒度分层量化和 DSpark 推测解码组合在一起作为端侧 MoE 的可迁移做法，并与 Qwen3.6 35B-A3B 直接比较效率与分数。
面壁 MiniCPM精选AI 评分5757 面壁 MiniCPM-V 4.7 35B-A3B 开源：端侧 13+ tokens/s 的 MoE 多模态模型
面壁 MiniCPM 开源 MiniCPM-V 4.7 35B-A3B 多模态模型，是 MiniCPM-V 系列第一个 MoE 变体。
推荐理由：在端侧实现无损流畅推理的开源 MoE 多模态模型，LES 专家调度与层级量化方案适合和 Qwen3.6 35B-A3B 做性能效率对比。
面壁 MiniCPM精选AI 评分5555 面壁发布 MiniCPM-V 4.7 35B-A3B：首个开源端侧 MoE 多模态模型
面壁发布 MiniCPM-V 4.7 35B-A3B，这是 MiniCPM-V 系列首个 MoE 多模态模型，结合 Lookahead Expert Scheduling（LES）跨层预测、层间细粒度量化和 DSpark 推测解码，在 iPhone 17 Pro Max 上以 13+ tokens/s 实现无损端侧流畅推理。
推荐理由：原文同时给出 iPhone 17 Pro Max 上 13+ tokens/s 的实测速度与 LES 调度、层间量化和 DSpark 推测解码三项技术细节，读者可据此评估端侧 MoE 推理的可行边界。
HF Daily Papers精选AI 评分3737 OmniCapBench 面向细粒度音视频字幕的多层级诊断评测基准
研究团队发布音视频字幕评测基准 OmniCapBench，把预测目标从自由文本改为可验证的原子单元，覆盖实体指代、视觉镜头和音频事件三条轨道。基准包含 786 个密集标注视频，通过确定性约束检查和局部语义对比定位 MLLM 在时间对齐、身份漂移、跨模态错位和幻觉描述上的具体错误。评测前沿 MLLM 显示其局部感知较强，但长程音视频推理明显偏弱，尤其在身份漂移和跨模态错位上问题突出。
推荐理由：该基准把音视频字幕评估拆成三条可验证轨道，能精确定位 MLLM 的具体感知错误，为全模态模型的改进提供可迁移的诊断路径。