东南教育网您的位置:首页 >无人驾驶 >

新算法克服了AI发展的主要障碍

导读 随着深度学习领域以及整个人工智能领域的不断发展,公司正在越来越多地投资于专用加速硬件,例如图形处理单元(GPU),以开发其产品。但

随着深度学习领域以及整个人工智能领域的不断发展,公司正在越来越多地投资于专用加速硬件,例如图形处理单元(GPU),以开发其产品。但是,依赖GPU的问题之一是它们的相对较高的成本,这使得发展和竞争比原本要困难的多。

为了减轻研究人员和企业的财务负担,莱斯大学的一组工程师开发了一种称为“亚线性深度学习引擎”(SLIDE)的算法,该算法将GPU替换为通用处理器(CPU)。

系统的共同作者Anshumali Shrivastava说:“我们的测试表明SLIDE是在CPU上进行深度学习的第一个智能算法实现,可以在具有大型完全连接架构的行业规模推荐数据集上胜过GPU硬件加速。”

为了减少计算开销,Shrivastava和研究生Beidi Chen和Tharun Medini将神经网络训练变成了可以通过哈希表解决的搜索问题,而不是使用需要强大的GPU的无处不在的反向传播技术。

由于不必在每种情况下都训练所有人造神经元,因此该任务可能会转化为搜索问题,从而仅选择相关的神经元。Medini说:“因此,从算法上讲,这个想法是使用局部敏感的散列来摆脱矩阵乘法。”

根据Shrivastava的说法,相对于反向传播,SLIDE的主要优势在于它可以同时更新或训练几个数据实例,从而更好地利用CPU的并行性。

在2019年3月在arXiv上发布了初步结果并将其代码上传到GitHub之后,英特尔很快联系了该团队,为解决与使用大内存相关的问题提供了帮助,最终将结果提高了约50%。

尽管SLIDE尽管存在上述问题,但已经可以提供比基于GPU的系统更快的培训时间,但Shrivastava声称,该团队几乎没有触及表面。

Shrivastava说:“整个信息是,'不要被乘法矩阵和GPU内存所困扰'。” “我们可能是击败GPU的第一种算法方法,但我希望这不是最后一种。这个领域需要新的想法,这是MLSys [关于机器学习和系统的会议]的重要组成部分。”

免责声明:本文由用户上传,如有侵权请联系删除!