首页  技术文章  博览:2017 NaturePhotonics 使用相干纳米光子电路进行深度学习

博览:2017 NaturePhotonics 使用相干纳米光子电路进行深度学习

发布时间:2022-04-08 11:57:25 浏览量:3587 作者:LY.Young 光学前沿

摘要

无需明确指令即可快速、高效地学习、组合和分析大量信息的计算机正在成为处理大型数据集的强大工具。“深度学习”算法因其在图像识别、语言翻译、决策问题等方面的实用性而在学术界和工业界引起了很大的兴趣。传统的中央处理单元 (central processing unit,CPU)不是实现这些算法的好选择,学术界和工业界越来越致力于开发针对人工神经网络(artificial neural network, ANN)和深度学习中的应用程序量身定制的新硬件架构。如图形处理单元(graphical processing unit, GPU)、专用集成电路(application-specific integrated circuit, ASIC)、现场可编程门阵列(field-programmable gate array, FPGA)、IBM TrueNorth和Google TPU等,提高了学习任务的能效和速度。同时,实现尖峰处理和储层计算的混合光电系统也已得到证明。

正文


博览:2017 NaturePhotonics 使用相干纳米光子电路进行深度学习



技术背


无需明确指令即可快速、高效地学习、组合和分析大量信息的计算机正在成为处理大型数据集的强大工具。“深度学习”算法因其在图像识别、语言翻译、决策问题等方面的实用性而在学术界和工业界引起了极大的兴趣。传统的中央处理单元 (central processing unit,CPU)不是实现这些算法的好选择,学术界和工业界越来越致力于开发针对人工神经网络(artificial neural network, ANN)和深度学习中的应用程序量身定制的新硬件架构。如图形处理单元(graphical processing unit, GPU)、专用集成电路(application-specific integrated circuit, ASIC)、现场可编程门阵列(field-programmable gate array, FPGA)、IBM TrueNorth和Google TPU等,提高了学习任务的能效和速度。同时,实现尖峰处理和储层计算的混合光电系统也已得到证明。


全光神经网络 (optical neural network, ONN) 为微电子和混合光电子实现提供了一种有前途的替代方法。出于多种原因,人工神经网络很适合使用全光计算实现。(1) 它们严重依赖于固定的矩阵乘法。线性变换(和某些非线性变换)可以以光速执行,并在光子网络中以超过100GHz的速率进行检测,并且在某些情况下,功耗低。例如,普通镜头进行傅立叶变换时无需任何功耗,某些矩阵运算也可以在不耗费功耗的情况下以光学方式进行。(2)它们对非线性的要求较弱。事实上,许多固有的光学非线性可以直接用于在ONN中实现非线性操作。(3) 一旦神经网络被训练,其将在没有额外能量输入的情况下对光信号进行计算。这些功能可以使ONN比电子同类产品更节能、速度更快。然而,迄今为止,由于需要相位稳定性和大量神经元,使用大块光学元件(如光纤和透镜)实现此类转换一直是一个主要障碍。集成光子通过为大型、相位稳定的光学转换提供可扩展的解决方案来解决这个问题。


当前不足:


人工神经网络是受大脑信号处理启发的计算网络模型。这些模型显著提高了许多机器学习任务的性能(如语音和图像识别)。然而,受限于冯·诺伊曼计算架构,今天的计算硬件在实现神经网络方面效率低下。


文章创新点:


基于此,美国麻省理工学院的Yichen Shen(一作兼通讯)和Nicholas C.Harris(共一,共通讯)提出了一种全光神经网络架构,在处理传统的推理任务时,能够在计算速度和能效上的电子架构更优越。


原理解析:


(1) ONN的一般架构。如图1a所示,ANN一般由输入层、至少一个隐藏层、一个输出层组成。每一层包含输入的线性组合和随后的非线性激活函数输出,具体到ONN架构里,每一层可以分解为由光学干涉单元(optical interference unit, OIU)执行光学矩阵乘法和光学非线性单元(optical nonlinearity unit, ONU)执行非线性激活(ONU可以使用常见的光学非线性来实现,如饱和吸收和双稳态),见图1b、c。执行任务时,需要处理的数据首先在计算机上预处理成高维向量,预处理的信号随后编码成在光子集成电路中传播的光脉冲幅度,从而实现多层ONN,见图1d。每一层ONN由OIU和ONU组成。原则上,ONN可以完全在光域中实现任意深度和维度的ANN。



(2) OIU实现。由于一个一般的实值矩阵(M)可以通过奇异值分解(SVD)分解为 M=UΣV†,其中U是一个m×m酉矩阵,Σ是一个m×n的矩形对角矩阵(对角线上为非负实数),V†是n×n酉矩阵V的复共轭。任何酉变换U,V† 都可以用光学分束器和移相器实现,Σ可以使用光衰减器来实现(也可以使用光放大材料,如半导体或染料)。 以上述方式实现的酉矩阵的矩阵乘法原则上无功耗(ANN计算主要涉及矩阵乘积,因此,ONN架构具有极高的能效)。


具体实现:


构建一个两层的神经网络用于元音识别。


(1) OIU使用一个由56个可编程的马赫-曾德尔干涉仪(MZI)组成的可编程纳米光子处理器(programmable nanophotonic processor, PNP)实现。每一个MZI包含在两个50%倏逝波定向耦合器之间的热-光移相器(θ),随后是另一个移相器(φ),见图2c、d。如图2a、b,激光耦合进OIU单元完成矩阵变换,随后被光电二极管阵列探测,然后被计算机读取并模拟非线性激活函数,激光重新注入OIU执行下一层(两个OIU完成一次奇异值分解)。



(2) 片上训练。通常,神经网络的参数使用梯度下降的方法训练得到,在计算机上,常见的方式是使用反向传播方法计算梯度,这个过程非常耗时。在ONN上使用前向传播和有限差方法(finite difference method)可以直接获得每一个不同参数的梯度(即无需反向传播),速度极快且功耗低。


实验结果:



参考文献:Shen, Y., Harris, N., Skirlo, S. et al. Deep learning with coherent nanophotonic circuits. Nature Photon 11, 441–446 (2017).

DOI:https://doi.org/10.1038/nphoton.2017.93


更多详情请联系昊量光电/欢迎直接联系昊量光电

关于昊量光电:

上海昊量光电设备有限公司是光电产品专业代理商,产品包括各类激光器、光电调制器、光学测量设备、光学元件等,涉及应用涵盖了材料加工、光通讯、生物医疗、科学研究、国防、量子光学、生物显微、物联传感、激光制造等;可为客户提供完整的设备安装,培训,硬件开发,软件开发,系统集成等服务。

您可以通过我们昊量光电的官方网站www.auniontech.com了解更多的产品信息,或直接来电咨询4006-888-532。


本文章经光学前沿授权转载,商业转载请联系获得授权。