如何以万亿级的速度训练数据

拥有数据和洞察力是两件截然不同的事情。将数据转换为实际上可以帮助做出更好决策和科学突破的信息是一项积极的任务。和一个令人生畏的。那么，数据科学家建议采取哪些步骤将停滞的数据湖转变成闪耀的见解?

“摆脱数据问题;基础设施问题; 惠普的AI解决方案和技术负责人Arti Garg(如图)说，所有这些技术问题似乎都很难 解决。“首先问：我要解决什么问题?实际上，这与您在组织中可能会做出的任何其他类型的决定一样。”

Garg在2020 Exascale Day期间与SiliconANGLE Media的直播工作室CUBE主持人Jeff Frick进行了交谈。他们讨论了现代数据科学家面临的挑战，提供人工智能自主控制的道德含义以及百亿亿次计算将如何改变数据科学领域。为了清楚起见，对问题和答案进行了压缩。 (*以下披露。)

都是要问正确的问题。您必须对问题进行数据整形，然后必须开始构建算法来回答该问题。人们在实际构建算法和训练算法时应如何思考?

Garg：我喜欢考虑将AI解决方案作为工作流的一部分进行部署。并且工作流具有多个关联的阶段。第一步是生成数据。然后开始准备和探索您的数据。然后为您的数据建立模型。但是有时我们并不总是在考虑接下来的两个阶段。首先是部署您开发的任何模型或AI解决方案。那真的需要什么?它会生活在一个安全且合规的生态系统中吗?或者，正如我们在边缘看到更多的应用程序一样，它实际上将生活在室外生态系统中吗?

然后，最后，谁将使用它，他们将如何从中获取价值?因为您可能没有AI解决方案，因为您没有合适的仪表板来突出显示和可视化数据，从而使决策者从中受益。我认为对所有这些阶段进行预先思考很重要。考虑一下您可能会遇到的最大挑战是什么，以便在遇到挑战时做好准备，并且可以在此过程中不断完善和迭代，甚至可以预先调整您要提出的问题。

10月18日是Exascale日，庆祝高性能计算以每秒浮点运算的速度从PB级万亿(10 15)跃升至PB万亿(10 18)。您能否分享您对成为数据科学家并突然拥有所有如此强大的计算能力的想法?

Garg：只有时间能准确地说明我们将要拥有的这些新的大规模计算功能所能解锁的所有内容。但是，令我非常兴奋的是，除了在大型超级计算机，亿亿级超级计算机上进行的巨额投资外，我们还看到了对推动药物研发的其他类型科学仪器的投资。

我说的是所谓的光源，它们向分子发射X射线，并使您真正了解它们的结构。从历史上看，您会将分子带到这些光源中的一个，然后对它进行X射线拍摄，您将仅产生大量数据-每次拍摄都产生TB级的数据。了解您正在查看的内容是获取计算时间和分析数据的漫长过程。[借助百亿分之一的计算能力，即使不是实时的，我们也能够做到这一点。

而且我真的不知道如果不提出一些分子，进行研究，然后说也许我需要做一些不同的事情，而我仍然可以在我的仪器上运行的话，会发生什么。从具有科学背景的人喜欢使用大数据集的角度来看，这是非常令人兴奋的。

借助AI，您可以构建算法，算法在一个盒子中，可以运行，并且可以给出答案。人们谈论的一件事是拥有可解释的AI-我们应该能够深入研究该算法，以了解AI为何会给出答案的想法。但这并不简单。可以解释的AI甚至可能吗?

加尔格：如今，这个问题显然已经引起很多人的关注。真正考虑我们可以解释的AI的含义还需要我们考虑AI的含义吗?如今，AI通常与深度学习同义地使用，深度学习是一种特定类型的算法，其核心不是很分析。我的意思是，其他类型的统计机器学习模型对您正在研究的数据总量具有一些基础理论。深度学习不是;它只是学习坐在它前面的任何模式。

因此，从某种意义上讲，如果您查看其他类型的算法，它们在本质上是可以解释的，因为您是基于您认为是所研究人群的基本事实来选择算法的。我认为[问题是]我们将要进行可解释的深度学习吗?这具有挑战性，因为您将始终处于深度学习被设计为尽可能灵活的位置。

我不想说我知道从现在开始50年后会发生什么，但是我认为要花点时间才能不必对主题应用某些主题的理解和一些人的判断算法推出了什么。

让我们谈谈数据科学和伦理学。数据收集存在一个固有的问题，可能会被用于其他方面。那么，您能否就数据科学家(尤其是数据科学家，最终使更多没有这个头衔的商业从业者和其他人)需要考虑道德问题分享您的顶级道德观点?

加尔格：我认为我们能做的最好的事情就是采取非常多方面且保持警惕的方法。当您开始收集数据或构建解决方案时，请尝试考虑一下谁可能会使用这些数据?以及可能被滥用的方式有哪些?

我也鼓励人们回头思考。收集数据时存在哪些偏见?历史记录反映了我们系统中的历史偏见。您可以针对先前的偏差进行校正的数量有限，但是有一些方法可以解决。但是，如果您不考虑它，就无法做到。因此，这在开发解决方案之初就很重要。

同样重要的是，要建立制度以保持对偏差的警惕。在知道可能会给世界带来哪些潜在的新错误或新偏见之前，请不要转向自主。并有适当的系统不断问这些问题：“我让我不想永久存在的事情永存吗?或者我该如何纠正他们?” 并且愿意报废您的系统，并在需要时从头开始。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！