我们都知道真正的机器人是多么烦人。它们很昂贵，它们很挑剔，教它们做任何有用的事都需要花费大量的时间和精力。让机器人学习更可忍受的一种方法是对机器人进行编程以教自己的东西，这不像在循环中拥有人类教师那么快，但可以更高效，因为人类可以做更有效的其他事情而不是。谷歌通过并行运行一堆机器人来实现这一过程的工业化，这大大加快了速度，但你仍然受到那些讨厌的物理武器的束缚。

真正扩大机器人学习的方法是尽可能多地在模拟中做到这一点。您可以使用在虚拟环境中运行的尽可能多的虚拟机器人来测试虚拟场景，因为您具有处理的计算能力，然后按下快进按钮以使它们比实时更快地学习。由于没有模拟是完美的，因此需要进行一些仔细的调整才能使其实际上变得有用和可靠，这意味着人类已经回到过程中。啊。

一队NVIDIA的研究人员，在工作公司在西雅图的新的机器人实验室， 以消除他们正在以ICRA今天呈现出纸这最后的人依赖步走的裂缝。仍然需要进行一些调整以使模拟与现实相匹配，但现在，它的调整完全是自主发生的，这意味着模拟和现实之间的差距可以在没有任何人为参与的情况下关闭。

来自加州大学伯克利分校的Pieter Abbeel总结了整个“sim-to-real”过程，当时我们正在与他谈论蓝色机器人手臂：

对于每个进行模拟到真实研究的人来说，证据仍然是在真实的机器人上进行运行，并证明它已经转移。那里有很多迭代。这不像你在sim中训练，你在真正的机器人上进行测试，你已经完成了。更像是，你在sim中训练，在真实的机器人上进行测试，意识到它不可推广，重新思考你的方法，并在一个新的模拟器中进行训练，并希望现在它能够推广真正的机器人。在你真正得到你希望的泛化行为之前，这个过程可以持续很长时间。在这个过程中，你经常在一个真实的机器人上进行测试，看看你的概括是否有效，或者是否有效。

虽然如果我们可以完全删除真正的机器人测试并且直接从模拟到部署，那将是惊人的，但我们不能，因为没有模拟是真实世界的足够好的代表。处理这种现实差距的方法是以特定的方式 “ 混淆”模拟(所谓的“域随机化”)，以建立足够的弹性，以便您可以应对固有的不确定性和偶然的混乱现实抛出你的办法。

这是一个混乱(并且理想地优化)模拟参数的过程，需要经验丰富的人，即使你知道自己在做什么，也可能是单调乏味且耗时的。基本上，您运行模拟一段时间，在真实机器人上尝试学习任务，准确观察它是如何失败的，然后进入并更改您认为有助于使事情更接近的模拟参数。

这里的总体目标是，您希望您的算法无法区分在真实机器人中运行模拟和在现实世界中运行。NVIDIA在没有人类循环的情况下实现这一目标的方法是使用在真实机器人上进行测试而产生的负面数据，并将其反馈到模拟中以改进模拟参数，使其更接近观察到的现实。

基本上，系统训练模拟，测试真实的机器人，观察测试失败(使用现成的3D传感器)，然后说，“哦，嘿，失败的真实轨迹看起来很像这个特定的模拟轨迹因此，模拟场景必须更接近现实，让我们做更多的事情。“经过几次迭代后，系统能够识别出与现实世界中观察到的更接近的模拟参数，从而取得成功。关于真实机器人的任务。

NVIDIA的研究人员表示，一旦设定了最初的参数范围，其余的过程就会从头到尾完全放手。附近有一个人，以防万一机器人发狂并需要被电子停止，但除此之外，这可能会完全熄灭。根据研究人员的说法，该系统的整体性能与人类手动调整一样好 - 它不会那么快，因为它没有那种特殊的人类专家脑酱，而是最终结果应该是类似的。

请记住，这完全是关于扩展，关于利用模拟来训练更多任务的机器人，而不是实际可能的其他任务，为此，我们将不得不停止依赖人类一直处于循环中。