CoRL 2026｜移动双臂灵巧操作，也能从人类示范中学？

双手提起水果篮，转身，将它送到另一张桌子前。对人来说，这只是一个普通的日常动作；但对机器人而言，却需要移动底盘、躯干、双臂、头部和灵巧手的持续协调。要让机器人学会这样的全身操作，需要大量高质量的示范数据。然而，随着移动能力与灵巧手的引入，机器人遥操作示范的采集愈发复杂，甚至需要多名操作者协同完成。

人类日常操作中，恰好蕴含着丰富的全身协同经验。那么，能否直接利用这些人类示范，帮助机器人学习复杂的移动双臂灵巧操作？

围绕这一问题，香港科技大学、北京智源研究院、北京大学等机构的联合研究团队提出了 DexRoam ，构建了一套从第一视角人类示范采集、全身动作对齐，到机器人策略学习与真机执行的完整系统。该工作已被 CoRL 2026 接收。

DexRoam 的核心价值在于，在解决人机动作差异的同时，保留人类示范中连续、精细的全身协同关系 ，使其能够与机器人数据共同用于策略训练，为复杂移动双臂灵巧操作拓展数据来源，并减少对高成本机器人遥操作示范的依赖。

- 论文标题：DexRoam: Learning Mobile Bimanual Dexterous Manipulation from Egocentric Whole-Body Human Demonstrations

- arxiv 链接： https://arxiv.org/abs/2609.35761

- 项目主页： https://dexroam.github.io/

- 采集对齐代码链接： https://github.com/zhourui9813/DexRoam

- 策略训练代码链接： https://github.com/zhourui9813/DexRoam-Policy-Training

## 方法框架：从人类全身示范到机器人策略学习

轻量化采集人类与机器人全身示范

图 1 DexRoam 数据采集系统

DexRoam 构建了一套无需外部动捕设备的便携式第一视角全身采集系统。示范者只需佩戴 Meta Quest 3 头显和头戴式 ZED Mini 双目相机，即可同步记录第一视角视频、全身关节运动与手部关键点，无需外部摄像头、环境标记或额外的身体追踪器。系统还将相机画面实时显示在头显中，使采集时的视觉体验与后续策略训练的视觉观测保持一致。

此外，团队还搭建了一套单人全身遥操作系统，通过 VR 头显、控制器与数据手套，即可同步控制机器人底盘、躯干、双臂、头部和灵巧手。两套系统分别提供人类与机器人示范，为后续联合学习建立数据基础。

跨越人机差异，保留连续全身协同

图 2 DexRoam 三阶段人机动作对齐流程

为了克服人机差异，同时保留连续的全身协同动作，DexRoam 设计了本体对齐、动作语义对齐和时间对齐三个阶段。

第一步，本体对齐 ：建立人与机器人之间的动作映射。

针对人与机器人的身体结构差异，DexRoam 以人体骨盆为参考建立坐标系，将人的移动、躯干、双臂和头部运动映射到对应的机器人部件，并通过手部重定向生成灵巧手指令，保留全身动作的相对运动关系。

第二步，动作语义对齐 ：统一人类与机器人的动作表达。

仅完成本体映射，动作中仍包含人体身高、臂长和初始姿态等差异。DexRoam 进一步将底盘、躯干和双臂运动表示为相对动作表征，减少对人体绝对姿态的依赖，使两类示范具有一致的控制含义。

第三步，时间对齐 ：匹配人和机器人的执行节奏。

针对人和机器人执行速度的差异，DexRoam 按照任务进度重新采样人类轨迹，在保留原有运动轨迹的同时，匹配机器人示范的时间尺度，提供更加一致的时序监督。

从人类示范中学习移动灵巧操作

经过三阶段对齐，人类与机器人示范可以通过统一的观测—动作接口，共同用于 VLA 策略训练， 无需针对人类数据额外修改模型结构，即可从人类示范中学习移动与灵巧操作的协同关系 。

团队采用 GR00T N1.7 和π₀.₅ 两个 VLA 模型，并探索三种训练策略： 人机联合训练、人类预训练后使用机器人数据微调，以及人类预训练后进行人机联合微调 ，验证这一框架在不同模型与训练方式下的有效性。

## 实验结果：DexRoam 从动作迁移到真机学习

让人类动作真正适配机器人

图 3 人机动作分布的 PCA 可视化

团队首先验证 DexRoam 的人机动作对齐效果。如图 3 中 PCA 可视化结果显示，仅完成本体重定向时，两类动作分布仍存在明显差异；经过完整对齐，分布重叠程度显著增加。

图 4 对齐前后人机动作分布差异的 MMD 与 SWD 指标对比

定量评估中，MMD 和 SWD 指标分别平均降低了 41.7%和 31.1% ，且转换后的人类轨迹能够在真机上成功回放。

这些结果验证了 DexRoam 三阶段对齐方法的有效性 ，既保证了人类动作在机器人上的可执行性，也缩小了人机动作分布差异，为联合策略学习提供更加一致的动作监督。

让人类经验转化为真机能力

图 5 DexRoam 主要实验结果，GR00T N1.7 与π₀.₅在五项任务上的成功率与任务完成度对比

团队进一步通过真机实验评估 DexRoam 的策略学习效果。如图 5 所示，结果表明， 在两个 VLA 模型和五项任务上，三种结合人类示范的训练策略均带来了性能提升 。 其中，「人类预训练＋人机联合微调」表现最佳，GR00T N1.7 的平均成功率从 29%提升至 56% ，π₀.₅从 32%提升至 57% 。

除了成功率提升，人类示范还为机器人引入了新的操作方式。以拿取薯片罐为例，仅使用机器人数据训练的策略主要从正面抓取，容易在物体朝向变化时将其碰倒；加入人类示范后，机器人能够根据物体朝向选择侧面抓取。 这一动作仅存在于人类示范中，未出现在机器人训练数据中 ，直观展示了人类操作经验如何拓展机器人学到的动作模式。

让有限的机器人示范发挥更大价值

图 6 不同机器人示范数量下，结合人类示范的策略学习效果对比

除了提升成功率，DexRoam 还展现出减少机器人数据需求的潜力。团队在保持人类示范数量不变的情况下，逐步减少机器人示范进行训练。

如图 6 所示，结果表明， 在两个 VLA 模型上，结合人类示范并将机器人数据量减半，仍能达到与完整机器人数据基线相近的任务表现 。 这意味着，在上述实验设置下，经过对齐的人类示范能够替代约 50%的高成本机器人遥操作数据，同时保持相近的任务表现。

进一步的少样本实验也显示，仅引入少量机器人示范，策略表现便明显提升，体现了人类操作经验与有限机器人数据相结合的价值。

## 总结：从人类示范走向移动全身灵巧操作

DexRoam 展示了人类数据在复杂全身操作中的潜力： 即使是需要底盘移动、双臂配合与精细手指控制持续协同的移动灵巧操作，人类示范也能够跨越本体差异，成为机器人直接学习的动作监督 。 机器人学习的不再只是孤立的抓取或移动动作，而是贯穿整个任务的连续全身协同。

这一结果也为机器人数据规模化提供了新的方向： 人类数据的价值不仅在于丰富的视觉和任务信息，更在于其中蕴含的大量细粒度、相互关联的全身动作经验 。 随着这些经验能够被有效迁移到机器人上，复杂移动灵巧操作的学习有望逐步摆脱对高成本全身遥操作数据的高度依赖，为更大规模的机器人技能学习打开新的可能。

目前，团队已开源 DexRoam 的采集与对齐代码、策略训练代码，为后续相关研究提供支持。