将电影导演的力量放在自主无人机上
商用无人机产品可以解决一些自动化任务,但是那些系统无法解决的一件事是艺术性地拍摄。卡内基·梅隆大学研究人员领导的一个团队已经提出了一种用于航空摄影的完整系统,该系统可以学习人类的视觉偏好。完全自主的系统不需要脚本场景,GPS标签来定位目标或先前的环境地图。
“我们正在将主管的力量放在无人机内部,”博士罗杰欧·博纳蒂(Rogerio Bonatti)说。CMU机器人学院的学生。“无人机将自身定位为记录场景中最重要的方面。它可以自主地了解场景的背景(障碍物在哪里,演员在哪里),并且它积极地解释了哪些视点将使场景看起来更有趣。”还有保持安全且不会坠毁的原因。”
作为一个目标,“艺术上有趣的”是主观的并且难以数学量化,因此使用称为“深度强化学习”的技术对系统进行了训练。在用户研究中,人们在逼真的模拟器上观看了在正面,背面,左侧和右侧透视图之间切换的场景。还探讨了镜头的比例和距离,以及演员在屏幕上的位置。用户根据场景的视觉吸引力和发现的艺术趣味对场景进行评分。
系统了解到某些动作比其他动作更有趣。例如,其他自主无人机产品经常使用连续快照,因为它允许无人机沿着演员身后的清晰安全路径行驶。但是在用户研究中,参与者报告说,一段时间后持续不断的倒拍变得很无聊。他们还发现,无人驾驶飞机必须经常改变角度,以保持拍摄的趣味性,但他们不能经常切换。
Bonatti说,团队希望使学习到的行为具有普遍性,从模拟培训到现实生活场景中的部署。当演员在建筑物之间的狭窄走廊上行走时,系统会平均用户对镜头的偏爱,但它可以使用地形映射将这些偏爱应用于类似的障碍物,例如森林小径。
“未来的工作可能会探索许多不同的参数,或者根据导演的风格或流派创造个性化的艺术偏好,”机器人研究所副研究员塞巴斯蒂安·谢勒(Sebastian Scherer)说。
空中系统还擅长于保持演员的清晰视野,避免所谓的遮挡。博纳蒂说:“我们是第一个提出处理遮挡的新方法的人,这些方法不仅仅是二进制的,而且实际上可以量化遮挡的严重程度。”
其他创新包括可以预测演员轨迹的高效运动计划器,以及使用LiDAR的环境增量式高效映射系统。
该系统可能不仅仅用于娱乐和体育活动。今天,政府和警察部门已经将手动飞行的无人机用于许多应用,包括监视人群和了解交通模式。但是手动飞行的无人驾驶飞机需要很多注意力,而军官实际上无法花费精力看现场。博纳蒂说:“就像学习艺术原理一样,可以向机器学习其他应用程序(例如安全性)所需的镜头。”
博纳蒂说:“研究的目的不是要取代人类。我们仍然会有训练有素的专业专家的市场。”“目标是使无人机摄影民主化,并使人们真正专注于对他们而言重要的事情。”
这项工作将在2019年智能机器人与系统国际会议上发表,并已被发表在Journal of Field Robotics上。