人工神经元设备可以减少能量消耗和神经网络硬件的大小
得益于加利福尼亚大学圣地亚哥分校研究人员开发的新型人工神经元设备,训练神经网络执行诸如识别图像或驾驶自动驾驶汽车等任务的一天可能需要较少的计算能力和硬件。该设备可以使用比现有的基于CMOS的硬件少100到1000倍的能量和面积来运行神经网络计算。
研究人员在3月18日发表在《自然纳米技术》上的一篇论文中报告了他们的工作。
神经网络是一系列连接的人工神经元层,其中一层的输出提供了下一层的输入。通过应用称为非线性激活函数的数学计算来完成输入的生成。这是运行神经网络的关键部分。但是应用此功能需要大量的计算能力和电路,因为它涉及在两个独立的单元(内存和外部处理器)之间来回传输数据。
现在,加州大学圣地亚哥分校的研究人员已经开发出一种纳米尺寸的设备,可以有效地执行激活功能。
加州大学圣地亚哥分校雅各布斯工程学院的电气和计算机工程学教授Duygu Kuzum说:“随着神经网络模型变得越来越大和越来越复杂,硬件中的神经网络计算效率越来越低。“我们开发了单个纳米级人工神经元设备,该设备以非常节省面积和能源的方式在硬件中实现了这些计算。”
这项新的研究由库祖姆(Kuzum)和她的博士领导。学生Sangheon Oh,是与加州大学圣地亚哥分校物理学教授Ivan Schuller领导的能源部能源前沿研究中心合作完成的,该中心致力于开发节能型人工神经网络的硬件实现。
该设备实现了神经网络训练中最常用的激活功能之一,称为整流线性单元。此功能的特别之处在于,它需要可以逐渐经受阻力变化的硬件才能正常工作。这正是加州大学圣地亚哥分校的研究人员设计的设备要做的事情-它可以逐渐从绝缘状态切换到导电状态,并且在一点点热量的帮助下就可以做到这一点。
此开关称为Mott过渡。它发生在纳米薄的二氧化钒层中。在该层上方是由钛和金制成的纳米线加热器。当电流流过纳米线时,二氧化钒层会缓慢加热,从而导致从绝缘到导电的缓慢受控开关。
该研究的第一作者Oh表示:“这种设备架构非常有趣且具有创新性。” 他解释说,通常,处于Mott过渡状态的材料会经历从绝缘到导电的突然转换,因为电流直接流过材料。“在这种情况下,我们使电流流经材料顶部的纳米线以加热它,并引起非常逐渐的电阻变化。”
为了实现该装置,研究人员首先制造了这些所谓的激活(或神经元)装置的阵列以及突触装置阵列。然后,他们将这两个阵列集成在定制的印刷电路板上,并将它们连接在一起,以创建神经网络的硬件版本。
研究人员使用网络来处理图像,在这种情况下,是圣地亚哥加州大学盖塞尔图书馆的照片。网络执行了一种称为边缘检测的图像处理,可以识别图像中对象的轮廓或边缘。该实验表明,集成硬件系统可以执行卷积运算,这对于许多类型的深度神经网络都是必不可少的。
研究人员说,该技术可以进一步扩大规模,以完成更复杂的任务,例如自动驾驶汽车的面部和物体识别。Kuzum指出,在业界的兴趣和合作下,这有可能发生。
库祖姆说:“目前,这是一种概念证明。” “这是一个很小的系统,其中我们仅将一个突触层与一个激活层堆叠在一起。通过将更多的这些堆叠在一起,您可以为不同的应用创建一个更复杂的系统。”