训练无人机即使在最简单的障碍物周围快速飞行也是一种容易发生碰撞的运动，可以让工程师以令人沮丧的规律修理或更换车辆。

现在，麻省理工学院的工程师们开发了一种新的无人机虚拟现实培训系统，使车辆能够在空旷的物理空间中“看到”丰富的虚拟环境。

该团队称之为“飞行护目镜”的系统可以显着减少无人机在实际训练课程中遇到的崩溃次数。它还可以作为研究人员可能想要训练快速飞行无人机的任何环境和条件的虚拟测试平台。

麻省理工学院航空航天学副教授Sertac Karaman表示：“我们认为这是无人机技术发展的一个改变游戏规则，因为无人机技术发展迅速。” “如果有的话，该系统可以使自动驾驶汽车更具响应性，更快，更高效。”

卡拉曼和他的同事们将在下周的IEEE国际机器人和自动化大会上介绍他们的虚拟培训系统的细节。共同作者包括Thomas Sayre-McCord，Winter Guerra，Amado Antonini，Jasper Arneberg，Austin Brown，Guilherme Cavalheiro，Dave McCoy，Sebastian Quilter，Fabian Riether，Ezra Tal，Yunus Terzioglu和麻省理工学院信息与决策系统实验室的Luca Carlone与麻省理工学院计算机科学与人工智能实验室的Yajun Fang和桑迪亚国家实验室的Alex Gorodetsky一起。

推动边界

卡拉曼最初的动机是一种新的，极端的机器人运动：竞技无人机比赛，其中由人类驾驶员驾驶的遥控无人机试图通过错综复杂的窗户，门和其他障碍物相互飞行。卡拉曼想知道：一架自主驾驶的无人机能否像这些人力控制的车辆一样快速(如果不是更快)飞行，具有更好的精确度和控制力?

卡拉曼说：“在接下来的两三年内，我们希望与自主无人机一起参加无人机赛车比赛，击败最优秀的人类选手。” 为此，该团队必须开发一种全新的训练方案。

目前，训练自主无人机是一项物理任务：研究人员在大型封闭测试场地中驾驶无人机，他们经常在大型网上悬挂大型网捕捉任何护理车辆。他们还设置了诸如门窗之类的道具，无人机可以通过它来学习飞行。当车辆发生碰撞时，必须对其进行维修或更换，这会延误开发并增加项目成本。

卡拉曼说，以这种方式测试无人机可以用于不打算快速飞行的车辆，例如编程为慢慢映射周围环境的无人机。但对于需要在飞行环境中快速处理视觉信息的快速飞行车辆，需要新的培训系统。

卡拉曼说：“当你想要进行高通量计算并快速进行时，即使是对环境做出的最轻微改变也会导致无人机崩溃。” “你无法在那种环境中学习。如果你想要突破你的速度和计算速度，你需要某种虚拟现实环境。“

飞行护目镜

该团队的新虚拟培训系统包括动作捕捉系统，图像渲染程序和电子设备，使团队能够快速处理图像并将其传输到无人机。

实际的测试空间 - 麻省理工学院位于31号楼的新型无人机测试设施中的机库式体育馆- 内置了动作捕捉摄像机，可跟踪无人机在飞行时的方向。

通过图像渲染系统，卡拉曼和他的同事可以绘制照片般逼真的场景，例如阁楼公寓或起居室，并将这些虚拟图像发送到无人机，因为它正在空中设施中飞行。

“无人机将在一个空荡荡的房间内飞行，但将会产生'幻觉'，这是一个完全不同的环境，并将在那种环境中学习，”卡拉曼解释道。

无人机可以以大约每秒90帧的速度处理虚拟图像 - 大约是人眼可以看到和处理图像的速度的三倍。为实现这一目标，团队定制的电路板集成了功能强大的嵌入式超级计算机，以及惯性测量单元和摄像头。它们将所有这些硬件都装入一个小型的3D打印尼龙和碳纤维增强无人机框架中。

速成课程

研究人员进行了一系列实验，其中包括无人机学会通过大约两倍大小的虚拟窗口飞行的实验。窗户设在一个虚拟起居室内。当无人驾驶飞机在实际的空载测试设施中飞行时，研究人员将无人机视角的客厅场景图像发送回车辆。当无人机飞过这个虚拟房间时，研究人员调整了导航算法，使无人机能够即时学习。

超过10次飞行，无人机以每秒2.3米(每小时5英里)的速度飞行，成功地飞过虚拟窗口361次，根据设施运动提供的定位信息，只“撞到”窗户三次 - 捕捉相机。卡拉曼指出，即使无人机坠毁成千上万次，它也不会对开发的成本或时间产生太大影响，因为它在虚拟环境中崩溃而不与现实世界进行任何物理接触。

在最后的测试中，团队在测试设施中设置了一个实际窗口，并打开无人机的车载摄像头，使其能够查看和处理其实际环境。使用研究人员在虚拟系统中调整的导航算法，超过8次飞行的无人机能够在真实窗口中飞行119次，仅发生碰撞或需要人为干预六次。

“它在现实中做同样的事情，”卡拉曼说。“这是我们在虚拟环境中通过制造错误，分崩离析和学习来编程的事情。但是在这个过程中我们没有打破任何实际的窗口。“

他说，虚拟培训系统具有很强的可塑性。例如，研究人员可以在他们自己的场景或布局中管理无人机，包括实际建筑物的详细无人机映射复制品 - 团队正在考虑与麻省理工学院的Stata中心合作。训练系统还可用于测试新传感器或现有传感器的规格，以了解它们如何处理快速飞行的无人机。

“我们可以在这个虚拟环境中尝试不同的规格并说，'如果你制造一个具有这些规格的传感器，它将如何帮助这种环境中的无人机?'”卡拉曼说。

该系统还可用于训练无人机在人类周围安全飞行。例如，卡拉曼设想将实际测试设施分成两部分，一架无人机飞行在一半，而一名穿着动作捕捉服的人则在另一半中行走。无人机会在虚拟现实中“看到”人类，因为它在自己的空间飞行。如果它崩溃进入人，结果是虚拟的，无害的。

卡拉曼说：“有一天，当你非常自信时，你可以在现实中做到这一点，并且当他们以安全的方式运行时，无人驾驶飞机绕着一个人飞去。” “在整个虚拟现实中，你可以做很多令人费解的实验。随着时间的推移，我们将展示您可以做的所有事情。“