卡内基梅隆大学的研究团队近日发表了一项创新研究，该团队开发出了一个实时人对人形机器人（human to humanoid,简称H2O）的全身遥控系统。值得一提的是，实验中的人形机器人为Unitree的H1-ReS人形机器人，最近它们同样进化走得更快了（3.3m/s），并可进行原地后空翻。

这是一种基于强化学习（RL）的框架，可以实现仅使用RGB相机的全尺寸人形机器人的实时全身远程操作。为了为类人机器人创建一个大规模的人类运动重定目标运动数据集，我们提出了一个可扩展的“Sim-To-data”过程，以使用特权运动模仿者过滤和选择可行的运动。然后，我们在模拟中使用这些精细的运动训练一个鲁棒的实时类人运动模仿器，并以零样本的方式将其传输到真实的类人机器人。我们成功地实现了在真实场景中的动态全身运动的远程操作，包括行走、背跳、踢腿、转身、挥手、推搡、拳击等。据该团队所知，这是实现基于学习的实时类人体远程操作的第一个演示。

Human Motion Retargeting

由于人形机器人在外形上与人类相似，它们十分适合于实时遥控。研究团队旨在使用RGB摄像头将人类的手势实时转换为人形机器人的行为。此外，这项技术能够使团队能够收集大量高质量的人类操作数据，供机器人使用，其中模仿学习可以应用于人形机器人遥控的任务。

然而，长期以来，人形机器人的全身控制一直是机器人领域的一个挑战，而当试图让人形机器人模仿实时的自由式人体动作时，复杂性更是增加了。

最近在人形机器人控制方面的强化学习（RL）进展提供了一个可行的替代方案。首先，强化学习（RL）已经在图形学界应用，以产生复杂的人体动作，执行多种任务，并在模拟中实时跟随由摄像头记录的人体动作。

然而，由于设计中不切实际的状态空间和对硬件限制（如扭矩/关节限制）的忽视，这些技术是否可以应用于全尺寸的人形机器人尚未确认。尽管如此，RL已在实际环境中实现了稳定和快速的双脚行走，但至今为止尚未进行基于RL的全身人形机器人遥控研究。

人形机器人实时全身遥控的进步

该团队的Human to Humanoid (H2O)系统是一个可扩展的基于学习的系统，它只利用一个RGB摄像头，就可以实现人形机器人的实时全身遥控。研究人员称，通过一个新的"模拟到数据"（sim-to-data）过程和强化学习，他们的方法解决了将人体动作转换为人形机器人可以执行的动作的复杂问题。

利用一个全面的全身动作模仿器，类似于持久人形控制器（Perpetual Humanoid Controller, PHC），该团队提出了一种训练和无缝过渡到现实世界部署的方法，其中使用零次学习（zero-shot learning）。

Left-right / Right-left Ball Kicking

Box Handover

Walking Forward and Jumping Back

Boxing

Step Forward and Punch

Robustness Test

具体方法

重新定位：在第一阶段，该过程通过优化形状和运动参数，将SMPL身体模型与人形机器人的结构对齐。第二阶段通过使用经过训练的特权模仿策略去除伪影和不可行的运动来改进这一点，为人形机器人生成真实且干净的运动数据集。

模拟到真实训练：训练模仿策略来跟踪从清理的重定目标数据集中采样的运动目标。

实时遥操作部署：实时遥操作配置通过RGB相机和姿态估计器捕捉人类运动，然后由人形机器人使用经过训练的模拟到真实的模仿策略进行模仿。

该研究的详细内容已经发表在ArXiv期刊上。（下滑阅读全文）