南方科技大学翁文康团队提出低深度鲁棒性的光学神经网络

产业资讯 南方科技大学 2022-02-22 08:27

近日,南方科技大学的翁文康与教授硬件硬件的张笑鸣博士合作,提出了一种低深度、高棒性的光学神经网络结构,该结构在计算精度上具有指数提升。 《深度光学神经网络》发表于全球新锐综合性研究期刊芯片,并被评选为首刊封面文章。

南方科技大学翁文康团队提出低深度鲁棒性的光学神经网络

光子芯片(光子芯片)是下一代高性能计算机的学习平台。基于它的相光计算在机器领域的应用之一,也是最近的研究热点。光学神经网络(optical neuronetwork)等上应用了,展示了其预计算的应用问题。然而,在某些通向透明技术应用的道路上,存在任何预置的检测技术。其中之一就是集成光子线路对噪声的在中光子线束中,基本计算出的精度会随着时间的推移而变化。在中光子线束中,基本计算出的精度会随着时间的推移而增加。光学是基本奇值,其观察范围随着尺寸的变化。当输入大时线路时,输出数据的数据的增加方法无法正常设计。因此,低密度的线路结构,是实测、机器学习领域的光计算,及其应用的关键之一。

近日,南方科技大学的翁文康单元与香港城市大学的张笑鸣博士合作,提出了一种低深度、高鲁棒性的光学神经网络硬件结构。包含一个由截面组成的二叉树,计算线性随着输入的数据的维度仅仅以形式数增长。在深度上可以极大地提高其精度的鲁棒性。以线性变换的计算方式,计算坐标对比于传统的奇值划分方法,硬件结构在计算上正确的指数方法。作者通过解析和分数印证了该结果。

基于低深度,该单元的训练还设计了基于计算点的计算机感知学习应用。第一类是线性线性积存器(optical linear)。它是由大量的光学矩阵组成的数据集和矩阵组成,可以在一个中点计算出任何前馈。神经网络因此而表现出复杂的识别功能。作者在结尾预订(鸢尾花)以及字符集(字母识别)上分数,验证算法的有效性模型结果显示在相同的噪声中。影响下,任何一种方法用于根据不同的性质进行研究,根据不同的潜在性质进行研究。

成果「低深度光学神经网络」发表于杂志芯片。

光学神经网络的低深度和鲁棒架构

光子芯片是下一代高速计算的有前途的平台,最近,在开发用于机器学习应用的片上光学神经网络方面做出了许多努力。机器学习光子计算的快速发展表明其在图像和语音识别、聚类等任务中的巨大潜力。

为了实现工业应用的可扩展光学计算和光学神经网络,主要挑战之一是大型光学设备在存在噪声的情况下的鲁棒性。噪声鲁棒性主要由光子电路的深度决定,因为电路任何部分发生的误差都会累积到最终的输出结果。以线性变换为例,常规方法是基于光学奇异值分解,其电路深度随数据维数线性增加。换句话说,随着数据量的增加,计算精度会显着降低。因此,一个突出的问题是是否存在具有更好的噪声鲁棒性的方案。

在最近的工作中,南方科技大学和香港城市大学的研究人员提出了一种用于光子计算和光学神经网络的新型“低深度”架构。在他们的框架中,计算基于点积的计算单元,其中包含一组以二叉树结构连接的干涉仪。以这种方式,可以计算点积,其中电路深度仅随数据维度的对数增加。该架构的低深度特性为噪声鲁棒性提供了指数级的改进。对于线性变换,作者提供了分析和数值证据表明,在相同噪声水平下,与基于奇异值分解的传统方法相比,计算错误率呈指数下降。

作者还基于他们的架构开发了两个机器学习应用程序。第一个是具有单个计算单元的光学线性感知器。训练有素的线性感知器可以输出一个超平面,将具有不同标签的两类数据分开。第二个是低深度光学神经网络(LD-ONN),它是低深度线性变换方案和非线性光学激活的组合。与标准的前馈神经网络类似,它原则上可以以任意精度表示任何函数。数值结果表明,与基于光学奇异值分解的传统方法相比,低深度方案在相同噪声水平下具有更好的分类精度。

该提议为机器学习应用的可扩展光子计算开辟了一条新途径。这项工作发表在Chip上。