苏黎世联邦理工学院部署RIDGEBACK通过强化学习推进自主导航
2020-12-14

1.jpg


机器人如何才能继续推动创新?解决方案之一是创建机器人和平台,以智能地适应他们收集的数据,部署环境和实现的流程。通过学习方法的每个步骤,机器人应该能够自主地进化自己的功能和算法,甚至可能比人类可以更快更好地发展。

 

快速适应

瑞士公立研究大学苏黎世联邦理工学院(爱因斯坦母校)的自主系统实验室的一个团队致力于创造能够做到这一点的机器人和智能系统。在复杂多样的环境中自主运行。以Ridgeback为基地,并配备了Franka Emika Panda该团队正在研究一系列不同的场景,以开发有关机器人如何“学习”的最佳实践。他们专注于系统的机电一体化设计和控制,这些系统将自动适应不同的情况并应对不确定和动态的日常环境。他们最感兴趣的是通过实际测试开发机器人概念,无论是在陆地,空中还是水中。在为自动导航增加智能的过程中,他们致力于开发新颖的方法和工具,例如感知,抽象,映射和路径规划。

 

研究团队由一群经验丰富的研究人员,工程师和教授领导。他们项目的目的是探索使用强化学习在仿真中训练神经网络的可能性和局限性,该神经网络控制移动机械手的所有自由度(即机械手的关节和基础平台的运动)并将其部署在一个真正的机器人。为此,他们开始使用一种只能在一个平面上移动的机器人,并将来自两次2D LiDAR扫描的数据直接馈送到网络,以使控制代理了解其环境。


简化仿真过程

然而,他们对全身轨迹规划和控制的追求并非没有挑战。该方法本身非常复杂,因为例如基于采样的方法可以具有多种无碰撞的关节配置。此外,这些方法遭受维度的诅咒或在计划阶段需要了解整个环境的需求。另一种方法是模型预测控制,它以水平向后的方式解决了最优控制问题。

当前,这种方法的核心缺陷是它们要么在避障能力方面受到限制,要么导致它们陷入局部极小值(由于其有限的视野),要么仅使用机器人的运动学模型。但是,借助团队自己设计的新方法,他们奠定了控制器的基础,该控制器克服了这些问题,同时保持了非常低的计算需求,因此能够在低端设备上实时运行。


2.jpg


为了实现他们的项目,自主系统实验室既利用了我们的Ridgeback移动基础平台,又利用了我们在凉亭页面上提供的URDF文件。综合起来,由于Ridgeback是现成的ROS兼容产品,因此简化了仿真验证并促进了快速部署。


团队采用的另一项重要的Ridgeback功能是该平台的全向驱动器设置,该设置能够即时向任何方向移动。这样一来,他们便能够找到一组超参数,这些超参数会导致训练过程中发生收敛,并导致将一个代理部署到Ridgeback上。此外,该团队能够继续训练,同时将y方向上的最大速度缓慢降低到零,从而可以在差分驱动平台上部署代理。然后将Ridgeback进一步用于通过关闭y方向上的运动来模拟这种平台。如果您对这样的配置感兴趣,则可以在此处遵循我们的教程。


RoyalPanda参与的一些操作包括以约4cm的精度驱动到给定的设定点(并主动保持其位置)。此外,它还执行抓握练习,目标是检测何时达到设定点,合上夹具并设定新的设定点。在静态的基础上,他们还测试了抓握过程,但是这次使用了强化学习方法。


Ridgeback可以进行快速有效的测试

研究团队知道,如果他们想积极地测试现实世界中的应用程序,那么他们将不得不超越仿真环境。因此,Ridgeback为他们提供了一个测试平台和一个非差分驱动器解决方案。RidgebackROS的开箱即用的兼容性在这里对他们特别有利。


该项目的主要研究人员之一朱利安·金德勒(Julien Kindle)认为Ridgeback对完成工作至关重要:“ Clearpath Ridgeback平台从开始(即创建仿真)到结束(在实际系统上部署)都非常方便。),因为它具有现成的ROS兼容性。这样,我们能够专注于我们的工作,而不必为ROS开发我们自己的驱动程序和模型。” 此外,该团队还受益于该平台的启动和运行速度,可用的描述机器人的URDF文件,其运动学和动力学特性以及Ridgeback提供的平稳平稳驾驶。在此处插入仿真链接


因此,Ridgeback以三重技术方法用于验证团队的研究:


1.部署他们的神经网络。

2.使用我们提供的URDF文件在PyBullet模拟中建模。

3.通过RidgebackROS-Gazebo模拟程序包验证gazebo中的代理。

在MoveIt中使用RRTConnect进行轨迹跟踪


组装项目

但是,Ridgeback只是这个雄心勃勃的产品的基础平台。团队为机器人安装了北洋激光雷达,并在上面安装了Franka Emika Panda机器人手臂。他们选择Franka Emika是因为他们为其机器人提供了稳定的ROS驱动程序包,因此将其与Ridgeback组合起来非常容易。接下来,使用视觉惯性传感器进行定位(以计算末端执行器的设定点)。最后,他们在RidgebackPanda的安全停止电路上连接了一个远程安全停止装置,以保护周围的机器人和人员。


尽管Clearpath最初将团队的Ridgeback设计为能够处理两臂上躯干机械手,但苏黎世联邦理工学院团队随后介入以进一步使其适应panda。首先,他们设计了自己的安装平台,将其添加到Ridgeback平台并将手臂连接到该平台。此外,他们在基座(大黑盒)上使用了电源,并将其直接连接到Ridgeback内部的可选24V230V逆变器。从编码角度来看,将RidgebackPandaURDF文件(也附带ROS驱动程序)组合在一起很容易。唯一棘手的事情是,当他们实现代码时(您可以在此处找到他们的RL培训),他们必须在URDF中手动添加惯性项和Gazebo元素(取自此存储库)。


他们的研究取得了巨大的成功!该团队能够以神经网络的形式部署强化学习代理,该代理经过模拟训练后可以在各种走廊环境中部署到真正的机器人上。通过使用自动域随机化,他们能够缓慢增加仿真的复杂度,以提高收敛的速度和鲁棒性,并使代理更好地了解实际情况。基于他们的发现的论文已经提交给IROS和RA-L,他们希望很快看到他们的工作发表。但是,该文件目前也可以在此处在线获得。


他们已经在其他项目中使用了类似的名称为RoyalYumi的组合,这是经过改编的版本,具有RidgebackABB YuMi。一个示例包括在非结构化室内环境中获取和携带应用程序。您可以在这里阅读该论文。


研究团队包括朱利安·金德尔(Julien Kindle),法德里·弗雷尔(Fadr Furrer)博士,汤西·诺夫科维奇(Tonci Novkovic)博士,詹仁忠(Jen Jen Chung)博士,罗兰·西格沃特(Roland Siegwart)教授和胡安·涅托(Juan Nieto)博士。


要了解有关我们的全向室内移动平台Ridgeback的更多信息,请访问我们的网站。

http://www.clearpathcn.com/


No.1908 Building A,Optics Valley Times Square,Wuhan City,Hubei Province,China
Tel:027-87522899,027-87522877

合作与咨询

商务合作:

amy@jingtianrobots.com

渠道合作:
lxw@jingtianrobots.com

网站备案号:鄂ICP备17004685号-1 | 技术支持 | 联系我们 | 服务条款与隐私权 | 网站地图