马克斯普朗克研究所的科研团队最近研发了一种新型神经网络光学系统,这一系统为现有的技术方案提供了一个更为简洁且节能的替代选择。

该系统利用光传输来进行计算处理,显著降低了传统神经网络所需的复杂性和能耗。

光神经网络

科学家们提出了一种通过光学系统实现神经网络的新途径,这可能会让未来的机器学习更加可持续。马克斯普朗克光科学研究所的研究人员在《自然物理学》期刊上发表了他们的新方法,展示了一种比过去的方法简单得多的实现方式。

随着机器学习和人工智能在从计算机视觉到文本生成等领域的应用日益广泛,如ChatGPT等工具所展示的那样,对越来越复杂的任务的需求不断增长。这些复杂任务需要越来越复杂的神经网络,有些网络甚至包含数十亿个参数。

由于神经网络的能耗和训练时间呈指数级增长,这种快速增长的规模使得这些技术走上了一条不可持续的道路。例如,据估计,训练GPT-3消耗的能量超过1000兆瓦时,相当于一个小镇一天的电力消耗量。

这一趋势催生了对更快、更节能、更经济的替代方案的需求,促进了神经形态计算领域的快速发展。该领域的目标是用物理神经网络取代数字计算机上的神经网络,它们被设计成以一种可能更快、更节能的方式物理地执行所需的数学运算。

神经形态计算的挑战

光学和光子学是神经形态计算特别有前景的平台,因为能量消耗可以保持在最低限度。计算可以在极高的速度下并行执行,仅仅受限于光速。然而,迄今为止,存在两个主要挑战:首先,实现必要的复杂数学计算需要高激光功率;其次,缺乏对这些物理神经网络有效的通用训练方法。

这两个挑战都可以通过马克斯普朗克光科学研究所的克拉拉·万朱拉(Clara Wanjura)和弗洛里安·马夸特(Florian Marquardt)在《自然物理》杂志上发表的新文章中提出的新方法来克服。

简化神经网络训练

“通常,输入的数据会被印在光场上。然而,在我们的新方法中,我们建议通过改变光传输来印记输入,”研究所所长弗洛里安·马夸特解释说。

这样,输入信号就可以以任意方式进行处理。这是正确的,即使光场本身以最简单的方式表现,即波相互干涉而不产生其他影响。因此,他们的方法允许人们避免复杂的物理相互作用来实现所需的数学函数,否则将需要高功率光场。

评估和训练这个物理神经网络将变得非常简单:“这真的就像发送光通过系统并观察传输的光一样简单。这让我们可以评估网络的输出。与此同时,这也让人们能够衡量训练的所有相关信息,”该研究的第一作者克拉拉·万朱拉说。

作者在模拟中证明,他们的方法可以用于执行图像分类任务,具有与数字神经网络相同的精度。

在未来,作者计划与实验小组合作,探索他们的方法的实施。由于他们的提议大大放宽了实验要求,它可以应用于许多物理上非常不同的系统。这为神经形态设备开辟了新的可能性,允许在广泛的平台上进行实体训练。

友情提示

本站部分转载文章,皆来自互联网,仅供参考及分享,并不用于任何商业用途;版权归原作者所有,如涉及作品内容、版权和其他问题,请与本网联系,我们将在第一时间删除内容!

联系邮箱:1042463605@qq.com