PAPAV：从计算机使用到机器人使用的多模态具身智能体统一能力框架
论文提出PAPAV框架，用感知、预判、规划、行动和验证五项能力统一比较多模态智能体、机器人系统与多模态具身智能体。对64项基准的分析显示，显式评测主要集中在行动，只有5项评估预判、3项评估验证。论文还指出，从数字环境转向物理环境时，5项约束会减少预先固定的选择和纠错空间。
推荐理由：PAPAV以五项能力统一比较多模态智能体、机器人系统与多模态具身智能体，并显示64项基准中仅5项评估预判、3项评估验证。
技术方向
多模态 最新动态
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
224 条精选近 30 天 198 条共收录 275 条
更新
精选归档 · 第 6 页
HF Daily Papers精选AI 评分3838 NVIDIA Blog精选AI 评分7171 NVIDIA Cosmos 平台新增世界模型训练、评估与部署工具
NVIDIA Cosmos 平台新增训练工具、仿真检查点和 Cosmos Data Factory 蓝图，面向世界模型与物理 AI 开发。Data Factory 提供 5 个云原生蓝图，涵盖驾驶数据、图像增强、事件视频和缺陷生成等场景。
推荐理由：原文将数据构建、模型训练、策略测试与部署串成完整链路，并给出推理和视频处理能力的量化变化，便于评估平台落地范围。
HF Daily Papers精选AI 评分4343 视频世界模型综述以读写、共享与交互统一视频理解和生成
这篇视频世界模型综述以世界建模为统一视角，梳理视频理解与生成围绕潜在时间状态展开的进展。论文将相关工作归为读取、写入、共享和交互四类操作，并区分时间连贯性与底层世界状态的一致性。综述指出，研究重点正从片段级识别和感知保真度转向持久状态、可控演化、物理与因果有效性，以及交互和下游决策导向的评测。
推荐理由：这篇综述以世界建模串联视频理解与生成，并按读写、共享、交互四类操作梳理技术演进与开放问题。
HF Daily Papers精选AI 评分5151 DirCast：用单一流式视频语言模型完成电竞导播与实时解说
DirCast 是一种流式视频语言模型，可仅依据过去上下文同时选择电竞直播镜头并生成实时解说。模型每秒低分辨率扫描所有摄像头，以保持或切换策略决定是否转场，再以高分辨率读取选中画面并解说；上下文保留已播画面与已生成解说，让其余视角移出，从而约束任意长度流的成本。
推荐理由：论文把每秒选镜头与实时解说统一进单一流式模型，并提供规则系统、GPT-5、GPT-4o及11个流式解说器的对照结果。
HF Daily Papers精选AI 评分4343 Dual Exam 对多模态智能体与世界模型开展受控评测
Dual Exam 分别在固定环境响应机制和固定动作干预下评测多模态智能体与世界模型，覆盖物理、数字、社会和科学领域。
推荐理由：Dual Exam 将智能体与世界模型分轨评测，并报告耦合试验任务成功数为 0 及任务相关状态保持问题。
HF Daily Papers精选AI 评分4848 F2G-Pose：用于直接 RGB-D 类别级物体位姿估计的几何感知基础特征提升
F2G-Pose 提出实时单次前馈框架，从单张 RGB-D 图像直接预测类别级物体的三维位姿、米制尺寸和相机坐标系下的补全形状。方法将稠密视觉基础特征提升为局部点云，以 DGCNN 编码局部几何，并用 Mixture-of-Experts Transformer 融合对象级结构。
推荐理由：F2G-Pose 在 SOPE 和 ROPE 上达到 SOTA，位姿推理速度为 28 FPS，为实时三维位姿估计提供了兼顾精度与效率的方案。
HF Daily Papers精选AI 评分5858 BrickWright：智能体生成物理可行的 LEGO 积木装配
BrickWright 通过装配 API 和物理可行性验证器，让预训练智能体根据文本或图像提示生成物理可行的 LEGO 积木装配。在 512 个提示的样本上，智能体达到 100% 物理有效性，基线智能体则为 9%（GPT-6 Luna）至 69%（GPT-6 Astra）；轻量智能体的提示遵循度提升，强智能体保持该指标，并优于专用模型完成文本到积木任务。
推荐理由：BrickWright 将装配 API 与物理可行性验证器接入智能体，为实体积木生成提供了一套可复用的验证与纠错方法。
HF Daily Papers精选AI 评分4848 论文提出面向任意骨骼绑定的 3D 运动与视频联合生成模型
论文提出一种面向任意骨骼绑定的模型，可联合生成视频与 3D 运动，并估计相机以将运动对齐到场景。模型把独立的 3D 运动模型通过少量交叉注意力层连接到预训练视频生成器，训练中使用生成式视频编辑器以及人类和机器人视频，形成 nearly 200K 训练对。
推荐理由：论文比较了任意骨骼动画中联合生成与视频优先方案的差异，评测重点落在文本驱动忠实度与场景响应。
HF Daily Papers精选AI 评分5353 面向音视频推理的证据驱动评测基准 EvaOmni
研究人员发布面向全模态大模型的音视频推理评测基准 EvaOmni，包含 392 段视频与 1027 道人工标注问答，覆盖 15 项能力以及检索定位、基础理解与复杂推理三个层级。
推荐理由：针对全模态大模型的音视频推理评测，给出 15 项能力、三个层级和 392 段视频的覆盖，可对比主流模型在证据定位上的真实差距。
HF Daily Papers精选AI 评分4545 Video-Point Model 通过点轨迹预测学习4D世界
Video-Point Model（VPM）根据多视角视频历史和语言指令，联合预测任意视角的未来视频与持久场景点的3D轨迹。它在预训练世界模型中加入相机条件多视角处理和轨迹头，并构建 VPM-Data 仿真语料与 VP-WorldBench 预测基准。
推荐理由：将多视角视频预测与持续点轨迹监督结合，并通过仅视频对照及模拟和真实机器人实验呈现共享3D表征的作用。
HF Daily Papers精选AI 评分4747 Foundation4D：面向自动驾驶的统一感知与重建模型
Foundation4D是一种面向自动驾驶的统一前馈模型，可从多摄像头驾驶视频联合估计几何、检测目标、预测语义占据并进行高斯重建。其共享骨干以分解式时空注意力融合跨相机和跨时间观测，位姿图优化用于细化相机轨迹并组装目标轨迹。
推荐理由：Foundation4D将多摄像头驾驶视频的几何、检测、语义占据与高斯重建纳入统一前馈框架，并发布含1,253段稠密标注驾驶片段的基准，便于比较联合训练的多任务收益。
HF Daily Papers精选AI 评分4747 LaLa-World：通过自然语言动作扩展潜世界模型
LaLa-World 提出语言条件潜世界模型，联合学习仿真、机器人轨迹及更广泛的图像和视频数据，平均 MPC 规划性能高于按域或任务分别训练的 LWM。它把数值动作和视觉变化都描述为语言，并基于语言模型预测未来潜状态，用同一预测器联合训练异构数据集。
推荐理由：论文用匹配比较呈现 LaLa-World 的效率，在规划性能与 RAEv2 基线相当时，训练成本低 6times、规划速度快 13.9times。
Hacker News精选AI 评分5353 Jev Cards 发布开源图片竞答游戏，由 TypeSafe 的视觉模型 Jev 实时答题
Jev Cards 是一款围绕 TypeSafe 视觉模型 Jev 构建的开源图片问答游戏，Jev 会根据图片和问题选择答案或点击位置，响应约需四分之一秒。玩家可独自挑战各模式排行榜，也可开启实时比赛，与朋友和 Jev 同场竞技；更多卡牌将陆续推出。
推荐理由：将 Jev 的视觉问答能力做成可试玩的图片竞答游戏，并提供排行榜、实时对战和开源代码，便于直接体验其响应表现。
HF Daily Papers精选AI 评分3636 Manga2Animate：基于创作-评审双智能体的漫画动画生成框架
Manga2Animate 提出一个多智能体框架，把漫画改编为动画的过程拆成动画脚本和视觉分镜两个中间表示，分别由创作智能体生成、由评审智能体对照原画面把关，再合成最终动画。作者针对两类表示设计筛选与双层反馈逐步迭代；实验与用户研究显示其结果在忠于原作和跨镜头一致性上优于当前最佳方法。项目页：annchenn.github.io/Manga2Animate
推荐理由：指出直喂分镜页和仅靠文本这两条已有路线的局限，给出创作评审双智能体配合中间表示这一可迁移方案。
36氪精选AI 评分3232 山东印发旅游业“十五五”规划，提出探索具身智能+旅游并支持山岳景区投放登山助力机器人
山东省人民政府印发《山东省旅游业发展“十五五”规划》，提出深化“人工智能+旅游”应用，因地制宜发展新质生产力。规划明确探索“具身智能+旅游”落地应用，支持山岳型景区投放登山助力机器人，并依托文旅科技平台打造“人工智能行程助手”、构建“人工智能+混合现实”导游导览新模式。
推荐理由：给出了省级文旅规划中“具身智能+旅游”的具体落地场景，可作为同类景区智能化的参考方向。
HF Daily Papers精选AI 评分4444 InfiniDream：基于程序化生成的开放式照片级真实感 3D 世界框架
InfiniDream 提出了一种由视觉语言模型驱动的框架，通过符号化程序化资产生成与确定性场景放置，构造开放式、可编辑、照片级真实感的 3D 世界。
推荐理由：原文给出 VLM 驱动的程序化 3D 世界生成框架及两项关键模块设计，读者可据此了解如何用符号约束与确定性放置提升场景可控性。
HF Daily Papers精选AI 评分4444 HOLI-WORLD：从人类第一人称经验构建整体世界智能的生态
HOLI-WORLD 论文提出一套从人类第一人称视频自动构建大规模学习资源的完整生态，覆盖采集、世界表征、自动数据构建、模型学习与独立评测五个环节。
推荐理由：原文给出从第一人称视频自动构建训练数据与评测基准的完整管线，读者可据此评估其在具身场景理解方向的可迁移性。
HF Daily Papers精选AI 评分4747 Brain LoRA：用参数高效微调扩展 104B 多模态脑编码模型
本研究提出 Brain LoRA 方法，用 LoRA 低秩适配器对多达 104B 参数的多模态 backbone 做参数高效微调用于脑编码，并在 Qwen3-Omni 上取得 Algonauts 2025 Challenge 已发表最佳成绩。
推荐理由：对想用大模型做神经科学数据的读者，这篇给出了把 LoRA 扩展到 104B 多模态模型的具体工程路径和性能基准。
HF Daily Papers精选AI 评分4343 OpenVLHarness：基于多模态记忆的视觉智能体工具调用框架
OpenVLHarness 通过整合持久多模态记忆、异构工具接口与编码执行层，让 MLLM 在推理中可调用外部工具并跨步骤组合视觉证据。
推荐理由：在 22 个基准上对照有无工具与记忆配置下的增益与 token 成本，为视觉智能体方案评估提供统一参照。
HF Daily Papers精选AI 评分4040 ScaleNav 通过互联网视频预训练实现语言条件局部导航
ScaleNav 提出统一的世界—动作框架，利用互联网第一视角视频学习目标导向视觉动态，并据此生成语言条件局部导航所需的机器人动作。训练分为指令条件视频预训练、使用带动作标签的仿真数据进行动作对齐，以及联合微调三个阶段。
推荐理由：论文把互联网第一视角视频预训练、仿真动作对齐与联合微调串成三阶段流程，并给出仿真基准及真实四足机器人部署结果。