MAVLN:多智能体视觉语言导航的形式化、基准与方法
本文提出 Systematic Multi-Agent Vision-and-Language Navigation(MAVLN),首次将多智能体视觉语言导航形式化为带依赖和资源约束的协调问题,并配套发布包含 11,724 条 episode、145 个场景、最多 4 个智能体的基准,覆盖三种指令设置。
推荐理由:把多智能体视觉语言导航形式化为带约束的协调问题,并配套发布 11724 条 episode 的基准与 TRISS 基线。
技术方向
装进机器人身体里的 AI:人形机器人、具身基础模型,以及在真实环境里动手干活的能力。
411 条精选近 30 天 405 条共收录 469 条
本文提出 Systematic Multi-Agent Vision-and-Language Navigation(MAVLN),首次将多智能体视觉语言导航形式化为带依赖和资源约束的协调问题,并配套发布包含 11,724 条 episode、145 个场景、最多 4 个智能体的基准,覆盖三种指令设置。
推荐理由:把多智能体视觉语言导航形式化为带约束的协调问题,并配套发布 11724 条 episode 的基准与 TRISS 基线。
TouchScale 是一个 500 小时的人体视觉-触觉数据集,采用单一可穿戴设备采集约 2K 个任务,同步记录自我中心 RGB-D 视频、腕部 RGB 视频和双手密集触觉信号。
推荐理由:用统一采集的 500 小时视觉-触觉数据验证了规模化效果,并把接触预测和机器人操作两组数字同时给出。
PhysEvo 提出围绕单个冻结模型 Astra 的物理递归自改进框架:任务智能体执行操作,元智能体基于轨迹诊断失败、修订工具与技能,并在不更新模型权重的前提下持续自我改进。
推荐理由:原文给出在冻结模型上做递归自改进的机器人框架与仿真、真机对比数据,读者可据此判断该思路对具身智能的迁移价值。
EMHO 提出一种不修改底座模型、仅迭代优化具身智能体 harness 的自我演化框架,并通过 EMHO-Merge 支持多子任务共享同一 harness。该框架在 EmbodiedBench 的导航与操作任务上评估,使 Qwen 9B 与 27B 模型的任务成功率均获得一致提升,并改变了智能体监测进度、使用视觉工具、锚定观测和应对失败的方式。
推荐理由:提出在冻结底座模型的前提下,让具身智能体的 harness 自行从执行轨迹中迭代优化,为不重训模型的智能体改进提供了一条可迁移路径。
Hebero 是基于 Isaac Lab 的 GPU 并行异构机器人学习基准,可联合训练并评估单一策略在 40 个异构任务上的表现。作者提出演示引导策略优化方法 DGPO 及其中的 IW-ABC 机制,在每任务 50 条演示条件下,状态输入平均成功率达 90.1%、视觉输入达 93.5%,并在实体 Piper 机器人上由同一多任务策略完成 4 个任务。
推荐理由:把 GPU 并行仿真与 40 个异构任务训练整合在同一基准,并提出用极少演示就能达到高成功率的 DGPO 方法,为多任务机器人策略的快速评测和真机迁移提供了一个可直接复现的开源基线。
Jack Clark 的 Import AI 周报第 474 期覆盖智谱、谷歌、Stanford、Periodic Labs 等多条 AI 前沿动态。
推荐理由:同一期里并列哲学思辨、机器人后训练、太空 TPU 与 AI 实验室自动化四条线,便于参照前沿展开节奏。
微软研究院在 Physical AI Toolchain 中新增卸载推理能力,将机器人 AI 推理从机载 GPU 迁移到边缘或云端 GPU。研究对移动操作类负载做了系统化测量,结果显示卸载后任务成功率提升、续航显著延长,并支持运行更大的 AI 模型。
推荐理由:原文给出机载与卸载推理在任务成功率、续航和响应速度上的量化对比,可作为具身智能部署设计的参考。
NVIDIA 在 ROSCon 大会发布 Isaac ROS 5.0,新增对 ROS Lyrical 与 Ubuntu 24.04 的支持,并引入面向 AI 智能体的开发流程。
推荐理由:Isaac ROS 5.0 把 AI 智能体工作流引入 ROS 开源生态,并打通从 Jetson Orin Nano 到 Jetson Thor 的端侧部署路径,读者可据此了解当前具身智能开发栈的具体形态。
文章解释规模化部署物理 AI 需要在硬件、软件、AI 行为、运行环境与全生命周期都建立安全机制,并介绍 NVIDIA Halos 作为全栈安全系统在自动驾驶和机器人方向的组件分工。文中还提及 Geely、Nissan、Uber 等使用 Halos 相关平台的厂商,以及 TÜV SÜD、TÜV Rheinland 对 DriveOS、Halos OS 等组件与流程的独立认证进展。
推荐理由:原文系统梳理了物理 AI 安全落地所需的多层架构,并介绍了 NVIDIA Halos 在 AV 与机器人方向的组件分工和独立认证情况,对理解安全工程化思路有参考价值。
Latent Space AINews 周报报道非生成式决策模型 Jev 发布两天内出现 6 个开源复现项目,包括 Laya(421M 参数 ModernBERT-large)。
推荐理由:它把过去两天的 Jev 开源复现方向关键作品与本周 Claude Code、Anthropic 独立评估合作等进展集中整理,方便一次性对照。
Anthropic 开放 Model Hardware Standard(MHS)研究预览,这是一个让 AI 智能体安全操控显微镜、液体处理仪、机械臂、激光等物理设备的共享规范。
推荐理由:原文给出了 MHS 的工作机制和多家机构的早期成果,读者可以据此判断它对实验自动化的实际影响。