给人工神经网络装上“记忆” 快速实现机器学习

1269 字丨阅读本文需 4 分钟

为了训练和实现人工神经网络,工程师需要能够进行数据密集型计算的先进设备。近年来,世界各地的研究团队一直在尝试使用不同的方法和设计来创造这样的设备。

创造这些设备的一个可能的方法是实现专门的硬件,将神经网络直接映射到上面。这可能需要使用记忆性设备的阵列,同时进行并行计算。

马克斯-普朗克微结构物理研究所和德国的初创公司SEMRON GmbH的研究人员最近设计了新的节能的memcapacitive设备(即具有存储器的电容器),可用于实现机器学习算法。这些设备发表在《自然-电子学》上的一篇论文中,通过利用一种被称为电荷屏蔽的原理而工作。

"我们注意到,除了用于运行神经网络的传统数字方法外,大部分是记忆性方法,只有极少数的记忆电容建议,此外,我们注意到,所有商业化的人工智能芯片都只是基于数字/混合信号,很少有带电阻式记忆装置的芯片。因此,我们开始研究一种基于电容式记忆装置的替代方法。"进行这项研究的研究人员之一Kai-Uwe Demasius说道。

在回顾以前的研究时,Demasius和他的同事们观察到,所有现有的记忆性电容设备都难以扩大规模,并表现出较差的动态范围。因此,他们着手开发更有效、更容易扩大规模的设备。他们创造的新的膜电容设备从大脑中的突触和神经递质中获得了灵感。

Demasius说:"与记忆性设备相比,Memcapacitor设备在本质上要节能许多倍,因为它们是基于电场而不是基于电流的,而且在第一种情况下,信噪比更好,我们的膜电容设备是基于电荷筛选的,与之前实现膜电容设备的试验相比,它能够实现更好的可扩展性和更高的动态范围。"

Demasius和他的同事们创造的装置通过另一个被称为屏蔽层的层控制顶部栅极和底部读出电极之间的电场耦合。这个屏蔽层又被一个模拟存储器所调整,它可以存储人工神经网络的不同权重值,类似于大脑中的神经递质如何存储和传递信息。

为了评估他们的设备,研究人员将156个设备排列成一个十字形图案,然后用它们来训练一个神经网络,以区分罗马字母的三个不同的字母("M"、"P "和"I")。值得注意的是,他们的设备在8比特精度下达到了超过3500 TOPS/W的能源效率,与其他现有的记忆性方法相比,这是35至300倍。这些发现凸显了该团队的新型记忆电容在运行大型复杂的深度学习模型时具有非常低的功耗(在μW系统)的潜力。

我们相信,下一代人机界面将在很大程度上依赖于自动语音识别(ASR),这不仅包括唤醒词检测,还包括更复杂的算法,如语音到文本的转换。目前,ASR大多在云端完成,但在边缘处理在数据保护等方面有优势。

如果语音识别技术进一步提高,语音最终可能成为用户与计算机和其他电子设备交流的主要手段。然而,如果没有具有数十亿参数的大型神经网络模型,这样的改进将很难或不可能实现。因此,能够有效实现这些模型的新设备,如德马修斯和他的同事开发的设备,可以在实现人工智能(AI)的全部潜力方面发挥关键作用。

德马修斯和他的同事创立的新公司SEMRON已经申请了几项与语音识别的深度学习模型有关的专利。在未来,该团队计划开发更多基于神经网络的模型,同时还试图通过提高其效率和设备密度来扩大他们设计的基于内存电容器的系统。

我们正在不断为与此相关的任何主题申请专利。我们的最终目标是使每个设备都能在设备上携带大量的人工智能功能,当涉及到训练或深度学习模型架构时,我们也设想了很多方法。尖峰神经网络和基于变压器的神经网络只是一些例子。一个优势是,我们可以支持所有这些方法,当然,不断的研究是必要的,以跟上该领域的所有新概念。

免责声明:凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处本网。非本网作品均来自其他媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如您发现有任何侵权内容,请依照下方联系方式进行沟通,我们将第一时间进行处理。

0赞 好资讯,需要你的鼓励
来自:微观人
0

参与评论

登录后参与讨论 0/1000

为你推荐

加载中...