跳到正文
10月8日周四
  1. HF Daily Papers41

    Reflex:视觉驱动的反应式人形机器人控制

    Reflex 是一个三阶段框架,让人形机器人仅凭第一人称 RGB-D 视觉实时接住抛来的箱子。在仿真中达到 85.7% 的接箱成功率,接近获得特权观测时的 87.9%;在 Unitree G1 真机上,2.5 米和 5 米抛掷的成功率分别为 65% 和 40%,达到人类接箱者同距离成功率的 76% 和 59%。

    推荐理由:Reflex 用三阶段框架在 Unitree G1 上实现视觉反应式接箱,给出仿真与真机数据,可作为反应式人形控制训练的可迁移参考。

10月7日周三
  1. HF Daily Papers43

    视觉表征越好端到端自动驾驶就越好吗?ViRA 框架给出研究答案

    论文提出 ViRA,一个与规划器无关的视觉表征对齐框架,并发现 VFM 引导的视觉表征对端到端驾驶的提升幅度取决于目标选择与辅助感知监督。

    推荐理由:论文给出可迁移结论,把视觉基础模型表征对齐进端到端规划器时,目标选择与感知监督共同决定最终增益。

  2. HF Daily Papers35

    MAVLN:多智能体视觉语言导航的形式化、基准与方法

    本文提出 Systematic Multi-Agent Vision-and-Language Navigation(MAVLN),首次将多智能体视觉语言导航形式化为带依赖和资源约束的协调问题,并配套发布包含 11,724 条 episode、145 个场景、最多 4 个智能体的基准,覆盖三种指令设置。

    推荐理由:把多智能体视觉语言导航形式化为带约束的协调问题,并配套发布 11724 条 episode 的基准与 TRISS 基线。

  3. HF Daily Papers49

    TouchScale:发布 500 小时统一采集的人体视觉-触觉数据集

    TouchScale 是一个 500 小时的人体视觉-触觉数据集,采用单一可穿戴设备采集约 2K 个任务,同步记录自我中心 RGB-D 视频、腕部 RGB 视频和双手密集触觉信号。

    推荐理由:用统一采集的 500 小时视觉-触觉数据验证了规模化效果,并把接触预测和机器人操作两组数字同时给出。

10月6日周二
  1. HF Daily Papers42

    PhysEvo:围绕冻结模型 Astra 的机器人递归自改进框架

    PhysEvo 提出围绕单个冻结模型 Astra 的物理递归自改进框架:任务智能体执行操作,元智能体基于轨迹诊断失败、修订工具与技能,并在不更新模型权重的前提下持续自我改进。

    推荐理由:原文给出在冻结模型上做递归自改进的机器人框架与仿真、真机对比数据,读者可据此判断该思路对具身智能的迁移价值。

  2. HF Daily Papers39

    EMHO:通过经验轨迹优化具身智能体 Harness 的自我演化框架

    EMHO 提出一种不修改底座模型、仅迭代优化具身智能体 harness 的自我演化框架,并通过 EMHO-Merge 支持多子任务共享同一 harness。该框架在 EmbodiedBench 的导航与操作任务上评估,使 Qwen 9B 与 27B 模型的任务成功率均获得一致提升,并改变了智能体监测进度、使用视觉工具、锚定观测和应对失败的方式。

    推荐理由:提出在冻结底座模型的前提下,让具身智能体的 harness 自行从执行轨迹中迭代优化,为不重训模型的智能体改进提供了一条可迁移路径。

  3. HF Daily Papers44

    Hebero:面向异构多任务强化学习的 GPU 并行框架

    Hebero 是基于 Isaac Lab 的 GPU 并行异构机器人学习基准,可联合训练并评估单一策略在 40 个异构任务上的表现。作者提出演示引导策略优化方法 DGPO 及其中的 IW-ABC 机制,在每任务 50 条演示条件下,状态输入平均成功率达 90.1%、视觉输入达 93.5%,并在实体 Piper 机器人上由同一多任务策略完成 4 个任务。

    推荐理由:把 GPU 并行仿真与 40 个异构任务训练整合在同一基准,并提出用极少演示就能达到高成功率的 DGPO 方法,为多任务机器人策略的快速评测和真机迁移提供了一个可直接复现的开源基线。

10月3日周六
  1. HF Daily Papers34

    PerturBot:通过扰动训练打破视觉-语言-动作模型中的捷径先验

    PerturBot 提出一种针对 VLA 模型的扰动训练框架,通过手腕视角扰动、决策相关指令扩写与失败轨迹重标注三种手段,打破策略对模态捷径的依赖。方法不改变推理流程,并配套提出离线诊断指标 GroundingFscore,用于衡量策略对任务证据而非捷径先验的依赖程度。

10月1日周四
9月30日周三
  1. HF Daily Papers34

    面向部分可观测机器人操作:HIDE 记忆基准与 SEEK 增强框架

    研究人员提出 HIDE 基准与 SEEK 框架,分别用于评估和增强部分可观测机器人操作中的任务级记忆能力。HIDE 包含 15 个任务,涵盖重复计数、历史状态回忆与执行进度追踪,SEEK 融合三种互补记忆机制。实验显示现有策略在 HIDE 上存在显著局限,记忆增强在仿真与真实环境中均提升任务成功率,三机制组合在所评测配置中取得最高平均成功率。

9月29日周二
  1. HF Daily Papers34

    RLE-Bench:面向机器人学习工程师能力的编程智能体评测基准

    RLE-Bench 是一个面向机器人学习工程的编程智能体评测基准,覆盖交互式控制、策略学习、感知与估计、机械设计四类开发工作流。该基准通过成功率、训练策略、构建 harness 与机械结构等任务专用指标评估智能体产出,并聚合成 RLE Index 以支持多维能力对比。论文还结合案例研究分析了智能体在代表性任务上的当前能力与局限。

9月24日周四
  1. Microsoft Research54

    微软研究院推出 Physical AI 卸载推理工具,提升机器人任务成功率与续航

    微软研究院在 Physical AI Toolchain 中新增卸载推理能力,将机器人 AI 推理从机载 GPU 迁移到边缘或云端 GPU。研究对移动操作类负载做了系统化测量,结果显示卸载后任务成功率提升、续航显著延长,并支持运行更大的 AI 模型。

    推荐理由:原文给出机载与卸载推理在任务成功率、续航和响应速度上的量化对比,可作为具身智能部署设计的参考。

9月22日周二
  1. NVIDIA Blog48

    NVIDIA 发布 Isaac ROS 5.0,引入智能体开发流程与 ROS Lyrical 支持

    NVIDIA 在 ROSCon 大会发布 Isaac ROS 5.0,新增对 ROS Lyrical 与 Ubuntu 24.04 的支持,并引入面向 AI 智能体的开发流程。

    推荐理由:Isaac ROS 5.0 把 AI 智能体工作流引入 ROS 开源生态,并打通从 Jetson Orin Nano 到 Jetson Thor 的端侧部署路径,读者可据此了解当前具身智能开发栈的具体形态。

  2. NVIDIA Blog35

    为什么规模化部署物理 AI 要求每一层都建立安全机制

    文章解释规模化部署物理 AI 需要在硬件、软件、AI 行为、运行环境与全生命周期都建立安全机制,并介绍 NVIDIA Halos 作为全栈安全系统在自动驾驶和机器人方向的组件分工。文中还提及 Geely、Nissan、Uber 等使用 Halos 相关平台的厂商,以及 TÜV SÜD、TÜV Rheinland 对 DriveOS、Halos OS 等组件与流程的独立认证进展。

    推荐理由:原文系统梳理了物理 AI 安全落地所需的多层架构,并介绍了 NVIDIA Halos 在 AV 与机器人方向的组件分工和独立认证情况,对理解安全工程化思路有参考价值。

8月28日周五
  1. Anthropic News56

    Anthropic 开放 Model Hardware Standard 研究预览,让 AI 智能体操控物理设备

    Anthropic 开放 Model Hardware Standard(MHS)研究预览,这是一个让 AI 智能体安全操控显微镜、液体处理仪、机械臂、激光等物理设备的共享规范。

    推荐理由:原文给出了 MHS 的工作机制和多家机构的早期成果,读者可以据此判断它对实验自动化的实际影响。