1、2018/10/18,1,第八章,光 学 神 经 网 络,2018/10/18,光学信息处理,2,第八章 光学神经网络,81 引言 82 一般基础 83 光学互连 84 结论,2018/10/18,光学信息处理,3,8.1 引 言,随着80年代初对于神经网络的兴趣的复苏，Psaltis和Farhat于1985年发表了第一篇用光学方法实现神经网络的论文与光学有关的神经网络称光学神经网络然而，事实上应当正确地称之为光电混合神经网络，简称混合神经网络(hybrid neural network)因为神经网络一般都有一个非线性函数，这是神经网络的重要特征，而用光学方法很难计算这一非线性函数因此，通常的
2、做法是用电子学方法来实现它本章将研究用光学系统实现矩阵-向量或张量-矩阵的乘法,2018/10/18,光学信息处理,4,神经网络是模拟人脑的结构和功能的信息处理系统从实际的观点来看，我们并不打算制造一个人工脑，而是设法构造一个信息处理系统去模拟人脑的某些行为这一系统应当和von Neumann型计算机的结构和算法有实质上的区别光学神经网络可以看作光学信息处理和光计算系统的延伸和扩展，这也是我们将它纳入本书的原因我们的典型方法是利用已很成熟的神经网络的理论模型，并考虑如何用光学的方案部分地实现它，这一方案在某些方面将比电子学方案更具优越性,8.2 一般基础,8.2.1 研究神经网络的原动力194
3、3年，当时McCulloch和Pitts建立了一个神经活动的理论模型在80年代，下面两个因素推动了对神经网络的研究工作： (1)在诸如识别一个物体这一类课题上，计算机要末失败，要末比人脑甚至动物的脑慢得太多 (2)计算机需要一组精确而复杂的指令来完成某一特定的计算或课题，一个“聪明的”计算机应当具备这样的功能：一旦某一任务被用户确定后，它能够自动去学习、掌握正确完成该项任务的方法 “智能型”计算机的两个基本要求：识别能力、学习能力,2018/10/18,光学信息处理,6,8.2.2 神经,人类的脑由大约1011个神经元构成神经元由三个部分组成： (1) 细胞体：包含神经细胞核及生物化学机构，它
4、可以合成细胞核的生存所必需的酶及其他分子 (2) 树突：像灌木丛一般形成许多分叉，围绕着细胞体，神经细胞正是通过它们形成的表面接受输入信号 (3) 轴突：是细胞体的延伸部分，它提供了信号从该细胞体传递到其他细胞的通道,神经内外包含着差别很大的液体外部液体所含的钠约为内部液体的10 倍，内部液体所含的钾约为外部的10 倍由于在细胞的一侧与另一侧钠离子和钾离子的浓度不同，轴突中心区域内部与外部约有- 70 mV的电位差。 当阳离子穿过细胞膜上的通道进入细胞时，内部的电位将逐渐由负变为正，当电位差变为40 mV时，另一组通道开启，释放阳离子，使电位差恢复成- 70 mV 。这一电压脉冲称为作用电压或
5、电神经信号该电脉冲信号沿着轴突，一直传播到轴突与其他神经元的树突的结合处,2018/10/18,光学信息处理,8,位于轴突的端点和另一神经元之间的结合部是一个突触，在这里轴突膨大而形成终端球状结构，其中包含突触囊当电神经信号到达终端球状体时，一些突触囊释放它们的成分因此又称为化学“发射器”或传递器它们被另一神经细胞的树突所接收信息就这样通过化学传递器一程接一程地在神经元间传输接收到信号的神经元，其树突的化学传递器起了开启和关闭细胞膜上的通道的作用，以改变细胞中的离子浓度。某些突触处于兴奋态时，它们总是要引发神经脉冲；而另一些突触处于抑制态时，它们能够压制或消灭一些信号，使之不可能再激励神经使之
6、发射神经脉冲,2018/10/18,光学信息处理,9,8.2.3 数学模型,神经的行为可以概括如下： (1)一个神经元发射一个电脉冲(输出信号)脉冲的形状永远相同，因而它的输出可用一个二元状态来表述：1 表示发射，0 表示不动作 (2)该电脉冲作为输入信号被另一个神经元所接收树突作为化学传递器，接收电脉冲所荷载的信号传递器的数目是事先确定的，传递器可以促进或抑制信号的传递突触或输入的权重正比于传递器的数目，由整数表示突触为正或负，分别表示兴奋或抑制如果采取归一化的表示，则突触为实数 (3)神经的发射作用，乃是突触被成百上千个神经作用所激活的的综合效果，是一个非线性过程,2018/10/18,光
7、学信息处理,10,综上所述，神经的机理可以用数学公式表为 zj = f i ji xi + j 其中 zj 是第 j 个神经元的输出，ji 是第 i 个神经元的输入和第 j 个神经元间的互连权重， xi 是来自第 i 个神经元的输入， j 是第 j 个神经元的偏置，而f 则表示某个非线性的传递函数注意 zj 和xi 都是二元的，取值 l 或 0在最简单的情况下，f 是阈值函数，表为zj = 1 , 当 i ji xi + j T 以及 zj = 0 , 当 i ji xi + j T 式中T为阈值当然传递函数也可能是 S 型函数而不是简单的step函数,2018/10/18,光学信息处理,11
8、,McCulloch 和 Pitts 提出的神经元数学模型 图8.1 神经元的图示,2018/10/18,光学信息处理,12,8.2.4 神经网络,脑是一个由大约1011个神经元构成的复杂的网络，每一个神经元通过约1000个突触与它周围的神经元发生互连作用，总共有1014个互连通道若假设神经元只有两个状态：“发出信息”或“不发出信息”，则脑的自由度总数为2的1011次幂研究表明，每一个思维，每一个感觉都是通过这个网络的活动实现的实际工程中可把神经网络的问题简化，如图8.2所示,2018/10/18,光学信息处理,13,两层神经网络图示,2018/10/18,光学信息处理,14,“工程神经网络的
9、”描述：,(1)神经元是分层排列的，同一层内的神经元没有相互作用任何一个神经元都不与它自身关联 (2)每一神经元都按拓扑学的方式与相邻层面上的神经元发生互连，亦即从上一层面上的所有神经元上接收输入信号，并向下一层面上的所有神经元发出信号互连权重由实数表示 (3)每一神经元的输出都是二元的 (4)信号同时、并行地向一个方向传输，称为前向馈送,数据则由神经元状态图表达可以相信，输出和输入间的任何数学关系，事实上都可以用网络的互连图来表征通过“学习”的特殊方法，数学关系式可自动地翻译、移植到互联网络中去。 “学习”过程的特点：通过对于“输入-输出”对的修正，反复调节网络 应当注意，网络并不能记住输入
10、-输出对，而是在输入和输出之间合成数学关系式，并将合成的关系式存储在互连图案之中每当新的输入-输出对参加到网络中来，合成关系就获得改进，这一过程称为“训练”由于该关系式是存储在互连图中，而不是由网络去记住输入-输出对，因而一个从未出现过的新的输入被网络接收时，根据已存储在互连图中的一般关系，该输入信号将引发一个正确的输出信号,2018/10/18,光学信息处理,16,当输入和输出之间的关系模糊，很难描述的时候，这种能力尤其有用例如，很难写出一组明确的计算机指令，去识别人脸由于感情、视角、阴影的不同而引起的变化然而，如果给出一系列输入输出对，其中输入为不同条件下同一个人的脸，而输出则是他的名字，
11、则网络将有能力把不同的面部图像与他的名字关联起来，因为网络在训练过程中已抽取了面部的特征原则上网络满足的要求：(1)具有识别能力(2)具备学习的能力,2018/10/18,光学信息处理,17,8.3 光学互连,8.3.1 矩阵-向量乘法方程(1)可改写为 zj = f yi + j (1) 其中 yi =i ji xi (2) 尽管用光学方法实现方程(1)很困难，但实现方程(2)却较简单，这是一个矩阵-向量乘法而方程(1)可用电子学方法实现,矩阵-向量乘法光学系统,2018/10/18,光学信息处理,19,非相干光处理器的主要问题：不能同时处理正数和负数 解决方法：需要在矩阵-向量乘法器中有两
12、个通道，分别对应于正和负的数值最后正和负的结果可以用电子学的方法加以联合。正、负通道可用一对正交的偏振态来编码，也可以用不同时间的帧图像来编码另一做法是，在每一权重中增加一个偏置，并相应调整阈值也有人证明，当略去负的权重时神经网络的性能反而提高,2018/10/18,光学信息处理,20,相干光矩阵-向量乘法器,图8.4 Kranzdorf 相干光矩阵-向量乘法器,2018/10/18,光学信息处理,21,简化的矩阵向量乘法器,线状光源均匀地照射到模板的一列上，而线状探测器则对一行的光强求和图8.5 简化的矩阵向量乘法器,2018/10/18,光学信息处理,22,8.3.2 透镜列阵,尽管我们还
13、不清楚人的大脑是否把二维信息保持在相同的二维神经图案中，但图8.2所示的一维工程神经网络却容易扩展，以处理二维信息. 相应地，(1)、(2)式变成zjl = f yjl + jl (3) 其中 yjl =i kjilk xik (4) 输入输出都是二维矩阵，互连则是四维张量 (4)式可由透镜列阵光学系统实现 矩阵-1维向量乘法: ( 31向量及33矩阵)y1 = 11 x1 + 12 x2 + 13 x3 (5)y2 = 21 x1 + 22 x2 + 23 x3 (6)y3 = 31 x1 + 32 x2 + 33 x3 (7),用两个透镜阵实现 矩阵-向量乘法运算,张量-矩阵乘法的光学实现
14、,设要处理的是一个22矩阵结果的矩阵中的元素由下式给出：y11 = 1111x11 + 1112x12 + 1211x21 + 1212x22 (8)y12 = 1121x11 + 1122x12 + 1221x21 + 1222x22 (9)y21 = 2111x11 + 2112x12 + 2211x21 + 2212x22 (10)y22 = 2121x11 + 2122x12 + 2221x21 + 2222x22 (11)一个透镜把输入矩阵模板 x 成像在互连张量模板 上， 已进行分块处理，并构成二维模板的形式后面的一个透镜列阵把x 的像和 进行叠加，形成输出矩阵y. 对于 NN 的
15、输入矩阵，互连张量的元素为( NN )2个，而列阵中的透镜数也等于 NN,成像透镜和透镜列阵实现 张量矩阵乘法,成像透镜和透镜列阵实现 张量矩阵乘法,2018/10/18,光学信息处理,27,Farhat和Psaltis的构想（面探测器）,点探测器代替面探测器,2018/10/18,光学信息处理,28,Wu等方案,2018/10/18,光学信息处理,29,8.3.3 光学相关器,yjl =i kjilk xik 矩阵乘法内积 相关Joint变换相关器示意图,自相关,互相关,2018/10/18,光学信息处理,30,Jutamulia 提出用自适应联合变换相关器来实现(8)-(11)，也就是(4
16、)式,使用JTC来实现张量矩阵乘法,2018/10/18,光学信息处理,31,应用JTC 的优点,(1) 透镜列阵加工困难较大，特别是当矩阵x 较大时，加工更困难JTC的应用代替了透镜列阵. (2) JTC具备表达单极性互连权重的能力然而，正由于JTC是相关光学处理器，测到的强度是光学计算值的平方 Vander Lugt相关器也可用于实现(8)-(11)式与JTC不同，Vander Lugt相关器中滤波器是很难调试的，当然也可以用光折变晶体来生成实时的匹配滤波器Chao 和Stoner 仍用透镜列阵来实现多通道处理，而Psaltis 等以及Hong等则用多角度体积全息来实现多通道处理,2018
17、/10/18,光学信息处理,32,非相干投影方法,Lin等早在1989年就指出了相关处理的途径，他们使用了非相干投影方法(见下图).,投影相关示图,f(x)上每一像元都向各个方向辐射一个非相干光波，该光波透过函数g(x)掩模板上所有的像元，同一方向的光束将会聚在透镜后焦面上的同一点焦面的光强分布则提供了f(x)和g(x)的相关。,为了模拟(8)-(11), 用四个LED 来表示 x11, x12，x21和x22，分块矩阵模板则安排在LED后面，如右图由于通过x111111, x121112, x211211和x221212的光线具有相同的方向，它们经过透镜聚焦在同一点y11, 通过x11112
18、1, x121122, x211221和x221222 的光线也具有相同的方向，经透镜后聚焦在y12，等等,用投影相关法实现张量-矩阵乘法,2018/10/18,光学信息处理,34,8.3.4 全息术方法,全息图记录物光和参考光形成的干涉图。参考光通常从一个点源辐射当用参考光再次照射全息图时，就可以用光学方法重构原来的物体。 在全息技术中，分块矩阵模板可以用一组全息图来记录。当用输入矩阵 x 重构时，方程(8)-(11)就可用全息方法有效地实现在全息技术中，分块矩阵模板可以用一组全息图来记录。当用输入矩阵 x 重构时，方程(8)-(11)就可用全息方法有效地实现,2018/10/18,光学信息
19、处理,35,全息图H11 ，H12 ，H21 ，H22 的制作,参考光x11,参考光x12,参考光x21,参考光x22,11,12,22,21,2018/10/18,光学信息处理,36,2018/10/18,光学信息处理,37,参考光x11,参考光x12,参考光x21,参考光x22,重构 ij 的强度正比于点源 xij 的光强,2018/10/18,光学信息处理,38,Ivanov 等把一组一维全息图装在一个可旋转的光学转盘系统上以实现矩阵-向量乘法 在时刻 t1，输入 x1 通过一维全息图在 y1，y2 和 y3 处分别产生 11x1 ， 21x2 和 31x3 。 在时刻 t2，由于转盘转
20、到另一位置，输入 x2 通过全息图在y1，y2 和 y3 分别产生12x1 ， 22x2 和 32x3 ，如此等等在时刻 t1 到 t3 ，位于 y1 y3 的每一探测器分别积分以得到(5) (7),Psaltis 和他的合作者用单个体全息图代替分离的全息图列阵来计算(8) - (11)他们设想，从x11 辐射的光波经过体全息图中与互连权重 1111 对应的光栅的衍射，应当射向 y11，等等在(8) -(11)式给出的例子中，有8 组光栅共存于体全息介质中。光栅 1111 不会干扰除 x11 以外其他光源辐射的光波。如果全息光栅 1111 是由x11 辐射的光波和另一个会聚于 y11 的光波形
21、成的，如图所示，,那么只有x11 辐射的光波才满足Bragg 条件，它被 1111 衍射，衍射波会聚于 y11 ，来自其他光源的光被均不满足 Bragg 条件，因而不受 1111 的影响,2018/10/18,光学信息处理,40,8.3.6 光学互连的优点,一般来讲，不用超大规模集成电路(VLSI)系统而采用光学互连方案的原因在于： (1)电信号在金属互连网络中的传输取决于单位长度的电容。当互连通道数增大时，传输速度会降下来，而光学互连的速度与互连通道数无关； (2)光学信号在空间可以独立传播，彼此间不相互干扰； (3)光学信号可在三维自由空间中传输； (4)互连可以通过SLM适当地改变； (
22、5)光学信号非常容易转变成电信号,2018/10/18,光学信息处理,41,神经网络所要求的矩阵-向量或张量-矩阵乘法是非常特殊的此外，在各种用光学系统实现互连的方案中，内积方法较容易实现，因此比较常用，以实现各种矩阵运算在神经网络中采用光学方法的主要原因，在于超大规模集成电路不可能实现高达103 106 的互连或扇入 扇出，因为电路中每一对输入输出都要求单一的分立通道由此我们也可以想像，将来到了每个神经元的互连高于1000 时，光学神经网络才真正有了用武之地,2018/10/18,光学信息处理,42,8.4 结 论,本章主要讨论了实现混合型神经网络的光学系统，这些神经网络以互连和非线性运算为其特色光学系统就其本质而言，原则上是适合于实现互连操作的其中的非线性运算则可以用电子学和数字计算机方法来完成 我们介绍了神经网络理论的基础，我们主要讨论了实现矩阵-向量乘法和张量-矩阵乘法运算光学方案。,
