跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

222 条精选近 30 天 196 条共收录 273 条

更新

精选归档 · 第 2 页

10月29日周四第 21–40 条
  1. 36氪41

    腾讯混元 Hy4 与 Hy4 flash 即将发布,首次引入视觉理解

    腾讯在 2026 腾讯全球数字生态大会上宣布,混元 Hy4 即将发布,并首次引入视觉理解能力。相比 Hy4 preview,Hy4 强化了长程和真实生产力任务,思维链效率显著提升;Hy4 flash 也将在近期发布。

    推荐理由:Hy4 相对 Hy4 preview 的长程任务、真实生产力与视觉理解变化被集中列出,便于对照此次混元升级的具体范围。

  2. Hacker News65

    Google 与 XREAL 发布首款 Android XR 有线 XR 眼镜 XREAL AURA

    Google 与 XREAL 正式发布首款 Android XR 有线 XR 眼镜 XREAL AURA。透明镜片可在保留现实视野的同时叠加空间内容,眼镜本体低于 95 克、视场角为 70 度,便携计算盒内置电池和 Snapdragon Reality Elite 平台,并支持多应用、笔记本 Wired Mirroring 及 Gemini 跨视野协作。

    推荐理由:透明镜片、70 度视场角、便携计算盒和 USD 1,099 的首发定价共同界定了 AURA 的产品形态与使用门槛,便于评估其市场定位。

  3. HF Daily Papers47

    规划与 UI 定位智能体通过在线稠密强化学习导航实际运行的 iOS 应用

    一项研究提出在线稠密强化学习框架,直接在实际运行的 iOS 应用上训练由规划智能体与 UI 定位模型组成的 UI 导航智能体。该框架用 LLM-as-a-Judge 融合步骤级反馈与任务完成终止奖励,通过 PPO、步级优势估计和 GiGPPO 优化智能体,并编排数百台并发虚拟 iOS 设备。

    推荐理由:论文将规划与 UI 定位拆成专用组件,并给出 GiGPPO 价值估计与多基准评测,便于对照在线强化学习的效果。

  4. HF Daily Papers45

    WorldBridge 融合视频预测与动作监督提升机器人任务泛化

    WorldBridge 将视频预测与稀疏动作监督结合,用分离的视频专家和动作专家提升机器人在新任务中的泛化能力。在 RoboTwin 2.0 的分布外任务上,仅使用同分布视频-动作监督的成功率为 25.07%,加入无动作标签的视频后升至 55.90%,每个任务再增加 1 条动作标注示范后达到 70.70%。

    推荐理由:通过对照视频与动作监督的组合,论文量化了两类监督对机器人任务迁移的贡献,并给出多基准结果,便于理解 WorldBridge 的设计依据。

  5. HF Daily Papers71

    用 JEPA 证明并改进柏拉图表示假说

    论文用 JEPA 将柏拉图表示假说转化为定理,证明使用同一场景良好视图的不同模态模型可学到相差至多一次旋转的共享表示。研究把下一 token 预测视为使用不良视图的 JEPA,并以 145k 条 caption 到 940M 张网页图像文本的数据验证对齐缩放规律,良好视图达到同等对齐所需训练样本少 42 倍。

    推荐理由:论文将 PRH 转化为表示定理,并比较 JEPA 与下一 token 预测在跨模态对齐上的样本效率差异。

  6. HF Daily Papers70

    EmbeddingGemma 2 论文提出统一高效的多模态表征方案

    EmbeddingGemma 2 论文提出一个原生统一文本、图像、音频、视频及其组合表征的开源多模态嵌入模型。模型采用简化逐层嵌入与包含模态和目标递进的多阶段课程,并在覆盖各模态的综合嵌入基准中超过专用模型及规模大 2 至 12 倍的模型。设计支持选择性加载模态编码器、调整视觉 token 预算、截断嵌入维度和量化权重,论文地址为 https://arxiv.org/abs/2610.37364。

    推荐理由:论文在统一多模态表征之外,还报告了相对专用模型和规模大 2 至 12 倍模型的性能对比。

10月28日周三
  1. Hugging Face Blog80

    NVIDIA 发布 Nemotron 3.5 Transcribe 开放权重模型与 Granary v2 多语种数据管线

    NVIDIA 发布开放权重模型 Nemotron 3.5 Transcribe,并开放 Granary v2 多语种数据管线;前者集成 40 种语言转录、31 种语言与英语互译、说话人区分和英文音频问答。

    推荐理由:原文给出从提示词优化到数据构造、LoRA 微调、检查点选择和评测的完整医疗语音适配流程,可直接用于复现同类场景。

  2. Simon Willison73

    Simon Willison:Claude Opus 5.5 推动氛围编程游戏开发迎来 2026 年 10 月拐点

    Simon Willison 认为,2026 年 10 月成为氛围编程游戏开发的新拐点,Claude Opus 5.5 已能生成他真正享受的游戏。

    推荐理由:文章以四款游戏对比模型的游戏设计表现,并展示从聊天原型到编码智能体迭代的路径,为理解氛围编程的游戏开发边界提供具体样本。

  3. The Verge · AI36

    Meta 悄然推出 AI 宠物日记应用 Waddle World

    Meta 悄然推出 AI 宠物日记应用 Waddle World,用户可与 16-bit 虚拟宠物语音对话,并让宠物为交流生成涂鸦。应用商店将其描述为伪装成宠物的日常日记,列出免费且仅面向菲律宾成年人,目前不清楚是否会在其他地区推出。

    推荐理由:Waddle World 把语音对话、涂鸦生成与宠物养成包装成日记体验,呈现 Meta 探索轻量消费级 AI 应用的路径。

  4. HF Daily Papers53

    离散视觉 token 能否成为视觉信号的语义无损表示?

    这项研究表明,因子化向量量化可让离散视觉 token 在多模态理解上追平连续视觉表示,更大的量化误差也可能对应更好的理解表现。研究将有效 bit 预算识别为下游性能的关键因素,其模型在九项指标均值上较 UniAR 和 Emu3-Chat 分别领先 22.8% 和 59.2%,并在细粒度 OCR 任务上具备与 Qwen3-VL 等连续表示模型竞争的能力。

    推荐理由:论文以量化误差与语义保真度的关系为切入点,对比连续与离散视觉表示,并给出可扩展的并行码本量化方案。

  5. HF Daily Papers54

    论文提出 EvidenceConnect,以合成证据连接数据提升 Zooming without Zooming v2 的多模态感知泛化能力

    论文提出 EvidenceConnect,通过同一图像相关区域的缩放视图合成问题,并用 RLVR 训练出 Zooming without Zooming v2(ZwZ2)。框架仅保留多个独立 VLM 达成一致的参考答案,并通过区域消融剔除移除相关区域后答案仍成立的问题。ZwZ2 改善了细粒度与空间感知,并在具身空间推理、多模态长上下文理解、多模态智能体任务和通用视觉推理上获得进一步提升。

    推荐理由:论文把证据连接抽象为可合成能力,并用独立 VLM 一致性与区域消融筛选训练数据,给出可复用的多模态训练流程。

  6. HF Daily Papers49

    VibeVideoBench:评测多模态智能体的代码驱动视频生成能力

    VibeVideoBench 提出一个评测多模态智能体代码驱动视频生成能力的基准,包含239项中英文自包含任务和12个类别。每项任务要求智能体在无图像或视频生成模型的沙箱内用代码产出带声音的 MP4,并在1小时内完成;评估结合交付规范程序检查、约13k项任务量规和3个VLM评审组。

    推荐理由:该基准覆盖239项中英文任务,并用分层量规与人类偏好对照,揭示智能体常因时间管理影响最终视频交付。

  7. HF Daily Papers38

    PDRVLA:融合物理动力学表征的视觉语言动作模型

    PDRVLA 将轻量物理动态模块引入视觉语言动作模型,通过预测未来视觉特征改善机器人动作生成,并避免在线视频生成延迟。该模块直接预测未来的 RGB、深度和光流特征,并用冻结的预训练视频世界模型进行辅助监督。

    推荐理由:论文将轻量物理动态预测接入视觉语言动作模型,并通过消融实验分析世界模型监督、子任务条件化与 ECoT 训练对动作成功率的影响。

  8. HF Daily Papers50

    CodeCap-Bench 论文提出以代码作为视频字幕的评测基准

    CodeCap-Bench 论文提出以可执行代码作为视频内容的补充表示,并推出评测多模态模型代码字幕生成能力的基准。该基准包含323个视频、五类结构化2D内容、细粒度标注和多层级评测框架。实验显示,代码字幕在问答推理准确率和视频重建保真度上优于自然语言字幕,但领先专有模型仍难以忠实呈现复杂时序,开源模型明显落后。

    推荐理由:论文用323个视频和五类结构化2D内容构建基准,并同时比较问答与视频重建结果,便于比较模型在复杂时序描述上的差异。

  9. HF Daily Papers55

    Hy-Nomas:面向自由形式交互式世界生成的视频世界模型

    Hy-Nomas 提出一种采用 8B 扩散骨干的视频世界模型,可依据多轮自由文本指令和连续镜头控制生成可变长度片段。模型结合结构化视频描述与动作感知因果注意力,在保留交互历史和动作后果的同时限制动作的作用窗口;视觉语言 Prompt Enhancer(PE)会将用户请求和多模态交互历史转换为下一片段的结构化条件。论文还公开模型权重、代码、基准和轻量适配流程,人工评测显示其表现优于现有世界模型。

    推荐理由:论文将多轮指令、历史缓存和动作时间窗约束整合进 8B 扩散骨干的视频世界模型,并公开代码与基准,为复现交互式生成研究提供技术路径。

  10. 钛媒体41

    元保入选2026巴伦中国价值榜单,AI应用推动保险中介价值重估

    元保集团近日入选2026巴伦中国价值榜单“中国行业先锋30强”,其AI应用已覆盖售前咨询、保单查询和售后理赔等十余类场景。截至2026年二季度末,其消费者全周期服务引擎拥有5100余个模型,可分析5900余个标签;智能客服采用RAG,医疗险理赔材料分类准确率为95%,关键字段提取平均准确率约为94%。

    推荐理由:文章拆解了元保以RAG和多模态模型改造咨询、理赔流程的路径,并给出准确率与结案时长数据,便于对照保险中介的AI转型成效。

  11. 钛媒体63

    生成式 AI 涌入中国广告信息流,巨量引擎与小红书转向 AI 审核

    生成式 AI 让 15 秒广告视频制作成本降至接近一顿午餐钱,巨量引擎与小红书正以多模态模型和智能体式审核应对批量合成广告。巨量引擎称拦截能力已提升一个数量级,并计划约一年内让 AI 成为默认审核层,规则按月更新。平台还用生成式工具解释拒审原因、提供一键修复和规则说明,以降低广告主反复提交与申诉的成本。

    推荐理由:文章把低成本生成与规模化审核放在同一框架下,展示多模态识别、智能体式审核和拒审修复如何应对合成广告。

  12. 36氪71

    8点1氪:iPhone Duo内屏开裂可免费换机,A股仅剩贵州茅台一只千元股,外交部回应姆巴佩遭多品牌解约

    36氪“8点1氪”在10月28日汇总iPhone Duo内屏开裂免费换机、A股千元股变化、姆巴佩代言解约回应及多项AI进展。OpenAI发布GPT-6.1 Terra,提升视觉推理与计算机操作,标准API价格较GPT-5.6 Terra和GPT-6.1 Sol低50%;Google DeepMind以研究预览形式发布Genie 4,支持提示改变场景并生成匹配模拟世界的实时音频。

    推荐理由:将iPhone Duo换机、A股千元股变化、姆巴佩代言解约及多家公司的AI模型进展并排整理,便于对照消费、资本市场和模型发布三类信号。