使用新的R1消费者无人机躲避完全自主
差不多两年前,一家名为Skydio的创业公司发布了一些视频,这些视频看起来像一个奇怪的无人机,随着他们沿着路径和周围的树木慢跑和骑行。即使没有太多细节,这也是令人兴奋的,原因有三:第一,无人机以有用的速度移动而不是只使用板载传感和计算而崩溃的东西,其次,Skydio背后的人包括Adam Bry和Abe Bachrach 曾在麻省理工学院从事高速自主飞行工作,然后在Google [x](现在刚刚称为X)共同创建了Project Wing 。
我们对Skydio的无人机感到兴奋的第三个原因是,尽管它看起来像一个研究项目,它实际上是为了商业化而设计的,今天,Skydio(终于!)宣布他们的第一个产品:R1,完全自主飞行相机。在您认为之前曾见过飞行摄像机之前,我们承诺您从未见过像R1这样的东西:两年前Bry告诉我们,Skydio的目标是“提供值得信赖和神奇的体验。”他们已经交付了。
最初,Skydio向我们发送了几个不同的视频来展示新的R1。有无人机的自主采取有人打网球的视频的视频,伴随着无人机的视频自主下面有人沿着轨道跳跃过障碍运行。我会说实话 - 这些视频让我对Skydio想出的东西有点担心,因为它们看起来像其他无人机公司喜欢用来在没有空中复杂性的情况下展示基本自治的那类视频。如果您已经看到在湖泊或滑雪场上拍摄的其他自主无人机演示,您就会清楚地知道我在说什么 - 这些都是理想的环境,没有树木或杂乱无章,无人机可以在不受严重挑战的情况下发挥最佳性能。我有点希望从Skydio获得更多魔力。
来自Skydio的第三个视频带来了魔力等等。坚持你的袜子,因为这是惊人的:
看那棵树躲闪!在2点32分的位置特别令人难以置信,R1巧妙地在一小簇树枝周围操纵。需要明确的是,这是基于动态视觉的动作,没有任何预先存在的地图或信标或类似的东西。这是一种超越任何其他消费者无人机的自治程度,甚至是我们所见过的大多数尖端研究。
另外看一下R1的功能,这是从无人机的角度看的一个从头到尾的视频,因为它遵循人类慢跑和骑山地自行车,随着树木的进出而编织:
Skydio在R1上用于自主导航的系统完全基于视觉。无人机周围有12个导航摄像头,包括向下和向上看的摄像头,管理这些大量的可视数据,是256核心的Nvidia TX1 GPU。R1能够检测并避开障碍物,并跟踪特定人员。它可以预测下一个人将要去哪里,并将该预测与障碍物周围的安全轨迹相结合,同时以某种方式保持其相机平稳并始终跟踪整个时间。
这种自治程度意味着R1这不仅仅是放手,而是让人心旷神怡。你可以手动控制它(如果你真的想要它(并且它可以帮助你避免粉碎),但它的设计是为了启动和忘记--Skydio希望你能学会相信无人机的自主权,你可以让它松散,然后在接下来的16分钟时或多或少地忽略它,同时它会影响你做你做的任何事情。我不确定是否可以说任何其他消费无人机。然后R1降落自己,你有惊人的镜头,因为无人机可以捕捉各种不同类型的电影视频:它可以跟着你,绕着你,从一边或另一边拍摄你,从高处跟踪动作,或者甚至尽力在你移动时留在你面前,这是一个巧妙的把戏。
当然,每当我们谈论具有现实世界自治权的机器人时,我们都会尽力找出他们的约束条件 - 哪种情况可能会对他们构成挑战或导致昂贵的崩溃问题。我们向Bry问过这个问题,他对R1的能力非常直截了当:
一个不错的经验法则是人类视觉传感 - 如果你在非常薄的树枝或薄电话线上飞行,R1可能无法看到它们。非常大的玻璃表面也可能具有挑战性。其他困难的情况是你有很多人。我们尽可能优雅地处理所有这些情况; 在最糟糕的情况下,无人机停下来通知你发生了什么事。
成群的人可能会很棘手,因为无人机可能会让所有其他看起来像人的人失去你,但Bry说,如果你能从无人机的角度看待自己,那么它就有机会跟踪你的位置。至于障碍物,一般来说R1会有一些检测不到小于约一英寸的东西的风险,但由于检测是视觉的,它很大程度上取决于变量,如物体的颜色,背景的颜色,环境照明,和无人机的速度。很难给出物体检测的下限和确定性的避免,但Bry告诉我们,假设R1无法检测到电源线并且它也不知道如何处理移动的障碍物可能是安全的。“如果你向它扔球,那几乎肯定不会让人失望,”Bry说。
第一批Skydio R1无人机将是Skydio世界总部和加利福尼亚州雷德伍德城火山巢的铝合金和碳纤维(以及其他东西)手工制造的Frontier版。您今天可以订购一台,它将发货在接下来的几周内给你。每架无人机配备两个电池,每个电池的飞行时间约为16分钟,另外还有64千兆的万向架,用于4k万向照相机。拥有可能是第一款全自动和智能消费无人机的价格是2,500美元。它确实很昂贵,但它也是它正在创建的类别中的第一个,而Skydio告诉我们你可以期待R1随着时间的推移变得更好。
IEEE Spectrum:四年前你开始了Skydio。那么是什么让你决定现在是开发具有这种自治水平的消费无人机的合适时机?
Adam Bry:麻省理工学院之后,我们有机会在Project Wing工作几年。当时,我们看到人们开始对无人机感到兴奋 - 四五年前,至少在科技界,人们开始考虑将无人机作为一种新的技术平台。我们觉得有很多令人兴奋的概念和潜在的商业应用,所有这些都以某种形式围绕着自治来实现。现有产品的范例是你基本上需要飞行,因此人们想要用无人机做什么和现有技术可能存在差距。我们对能够实现自治的算法和技术了解很多,因此这是基本动机。
凭借我们作为研究人员的经验,当我们开始使用Skydio时,我们对技术领域的理解有了一个很好的理解,并且基于此我们在计算机视觉上做了相当大的赌注,作为无人机导航的超级强大方式,因为在那时,计算机视觉和基于机器学习的技术的进步很快,而且从那时起它变得更快。我认为这是使这个系统变为现实的重要因素之一。
R1与其他提供某种程度自治的无人机相比如何?
[Autonomy]是一个迅速崛起的类别。仅在最近几年才有可能使用板载传感和计算来构建在现实世界中导航的东西。迄今为止最成功的类别之一是机器人真空吸尘器,尽管它仍处于非常结构化的环境中,具有有限的机动性和有限的运动。与我们正在做的事情平行的另一个类别是自动驾驶汽车,我认为那里的技术有很多重叠。但是今天你实际可以使用的所有东西都属于驾驶辅助类别,并且它完全依赖于拥有一个可以在必要时接管的驾驶员。
[在无人机空间],我要说的第一件事就是我认为那里有一些非常好的产品。但他们真正优化的是手动飞行体验。大疆在这方面取得了巨大的成功; 他们在这方面做得非常出色,包括手动控制和获取实时视频流和录制视频的所有方面。如果你看一下使用这些产品的人,那就是他们用它做的99%,这真是太棒了。我们认为R1是一种不同的用例 - 它被不同类型的人以不同的方式用于不同的事物。Autonomy是这个领域的一个新兴主题,DJI和其他人正在谈论增加这些功能,但到目前为止,它是主要事件的一种侧面展示。如果你看看他们的消息,
我们在整个技术堆栈中进行了许多权衡,包括我们选择的硬件和传感器,以及软件构建方式,以获得完全自主的体验。我会说,[对于R1]的关键阈值是你不必注意它。您可以信任它自己飞行并捕获您想要捕获的东西,并且可以实现不同类型的使用并创建不同类型的内容。
您是否认为您在Skydio所关注的自主程度代表了与DJI等其他无人机公司相比的哲学差异,或者技术能力的差异?
我认为这是两者的结合。手动飞行的无人机肯定有市场; 这就是[DJI]成功的原因,而这就是他们一直在迭代的东西。他们和其他人都明白,自治可能对某些事情很重要,但可能还没有完全致力于它。我还要说[Skydio]已经解决了一些非常困难的技术挑战,以使R1成为可能。我们拥有来自世界顶级学术实验室的世界级研究人员,他们是您需要组建自主系统的所有不同成分的深入,深入的专家,如果我们是研究实验室,我们将拥有一系列出版物在许多不同领域推进了最先进的技术。我们正在推动最先进的技术,使这件事成为可能,
R1可以跟踪人员,并预测他们将如何移动。它是如何做到的?
“我们使用深度神经网络来识别它能够看到的所有人,然后对于它所看到的每个人,也建立一个独特的视觉识别符来告诉他们与其他人的区别。然后,为了让无人机弄清楚它需要如何移动,它需要预测它跟踪的人将要做什么“
这是让R1智能运行的关键之一。我们使用深度神经网络来识别它可以看到的所有人,然后对于它看到的每个人,也建立一个独特的视觉识别符来告诉他们与其他人的区别。然后为了让无人机弄清楚它是如何移动的,它需要预测它跟踪的人将要做什么,否则它会变成纯粹的反应并做出非常短视的决定。我无法详细介绍它是如何工作的,但我们有一个基于学习的深度系统,该系统基于我们在测试期间记录的所有人,我们使用它来预测某人可能会如何移动。
您认为现在对R1性能的最大限制是什么?我们怎么能期望其性能随着时间的推移而改善?
计算和传感肯定是一个因素,但这些事情正在迅速变得更好。我认为在很多方面,这对我们来说是令人兴奋的,最大的限制因素是我们能够发明新的算法来解决我们遇到的问题并开辟新的能力。随着时间的推移,R1将不断变得更加智能; 我们将经常发布软件更新,以提高性能并添加新功能。我不能详细说明,但主要的导航功能将在更具挑战性的环境中变得更平滑,在处理难以看到的障碍时更加可靠,对人和其他事物的跟踪更加可靠。
Skydio在多大程度上专注于构建像R1这样的消费无人机,而不是为无人机开发自动导航系统?
我们的大多数核心技术都在软件和飞行算法中,但硬件团队做了非凡的工作,我们正在做的事情 - 这不像你可以把模块打到现有产品上。我们正在使用的传感器,我们正在使用的计算机,所有配置和校准的方式,我们构建它的方式,所有这些对于获得我们想要提供的产品体验非常重要。我们通常希望这种趋势能够持续下去:我们认为未来几年有一些超级令人兴奋的新产品概念需要完成,而且大多数概念需要将硬件和软件很好地结合在一起。
我认为对于机器人技术而言,同时执行硬件和软件的能力对于使系统运行良好非常重要。生物启发的类比并不总是很好,但生物学创造了一些令人难以置信的自主系统,它是一个集成的硬件 - 软件故事。我们已经发展了所有这些与我们的神经系统和我们的大脑紧密耦合的错综复杂的机械系统,我认为这不是偶然的 - 我认为从硬件和软件的角度来看,真正好的机器人系统将被设计在一起,做他们需要做的事。
R1看起来像是城市交付无人机所必需的那种功能,但我们还没有看到任何公司在交付时表现出自治能力。您对无人机交付近期的看法是什么?
我们认为[无人机交付]有潜力; 一个成功的城市无人机交付系统似乎可能会像我们正在建造的东西一样成长,在那里你可以积累数百万小时的飞行经验并验证这个东西能够完美地运作。今天正在运作的交付物,他们基本上都在努力避免我们正在解决的问题,这很好,并且很有意义:人们正在非洲进行血液输送,你可以在那里降落有效载荷,在该环境中工作但可能不会扩展到城市或郊区环境。因此,我认为我们拥有的东西是必要的组成部分,我们只是认为它还需要几年时间。
[复杂环境中的感觉和避免]是一个非常具有挑战性的事情。我们希望证明它是可能的,但尚未得到证实,我认为,正如人们所看到的那样,它可能会改变一些观点。
对于消费者来说,这是一种昂贵的无人机,特别是当有其他平台提供相对肤浅的自治程度时。您如何让消费者相信R1值得溢价?
它显然不是主流的大众市场价格点,但是这个产品有一套独特的功能,你真的无法在其他任何地方获得。您可以将其视为与特斯拉Model S类似,我们的目标随着时间的推移肯定会让这项技术更多地供更多人使用,而且我认为我们的许多第一批客户都是早期采用者,他们对它能做什么感到兴奋做,并有一些特别的东西,他们很高兴与它做,他们无法做任何其他事情。
R1是一种新的东西; 我认为这是非常令人兴奋的 - 现在人们在现实生活中第一次看到它,就像了解另一个聪明的人,看看它是如何反应的那一刻。以前没有太多这样的设备。
Skydio今天还宣布了Playground和Nvidia等人的B系列资金4200万美元的结束,使他们的总资金达到7000万美元。他们也在招聘,如果没有其他原因,你应该查看他们的促销视频,而不是包括在骑自行车时戴着他们的原型无人机作为帽子的人。