佐治亚理工学院开发新框架 为模仿学习创建以自我为中心的演示

盖世汽车讯 模仿学习是教机器人完成洗碗或准备食物等手动任务的最有前途的方法之一。端到端模仿学习通常需要对人类完成手动任务的原始视频、图像和/或动作捕捉数据进行深度学习算法的训练。在此训练过程中，算法逐渐学会产生输出动作（即机器人关节运动、轨迹等），使机器人能够成功完成相同的任务。

图片来源于网络，如有侵权，请联系删除

虽然模仿学习技术可以增强机器人完成复杂物体操作任务的能力，但它们通常不允许机器人在训练数据集中未包含的任务中进行推广。此外，收集各种任务的训练演示可能具有挑战性，需要先进的传感器或设备。

图片来源于网络，如有侵权，请联系删除

据外媒报道，佐治亚理工学院（Georgia Institute of Technology）的研究人员最近推出新框架EgoMimic，可用于轻松收集更多不同的模仿学习演示数据。该框架已发表在arXiv预印本服务器，提供了一个可扩展的平台，用于从完成任务的人（即自我中心）的角度收集人类完成手动任务的视频演示。

图片来源：佐治亚理工学院

图片来源于网络，如有侵权，请联系删除

研究人员Simar Kareer、Dhruv Patel及其同事在论文中写道：“我们提出了一个全栈框架EgoMimic，可以通过人类化身数据进行扩展操作，特别是以自我为中心的人类视频与3D手部追踪相结合。”