近代光信息处理第8章.ppt

2020 1 28 1 第八章 光学神经网络 2020 1 28 光学信息处理 2 第八章光学神经网络 8 1引言8 2一般基础8 3光学互连8 4结论 2020 1 28 光学信息处理 3 8 1引言 随着80年代初对于神经网络的兴趣的复苏 Psaltis和Farhat于1985年发表了第一篇用光学方法实现神经网络的论文 与光学有关的神经网络称光学神经网络 然而 事实上应当正确地称之为光电混合神经网络 简称混合神经网络 hybridneuralnetwork 因为神经网络一般都有一个非线性函数 这是神经网络的重要特征 而用光学方法很难计算这一非线性函数 因此 通常的做法是用电子学方法来实现它 本章将研究用光学系统实现矩阵 向量或张量 矩阵的乘法 2020 1 28 光学信息处理 4 神经网络是模拟人脑的结构和功能的信息处理系统 从实际的观点来看 我们并不打算制造一个人工脑 而是设法构造一个信息处理系统去模拟人脑的某些行为 这一系统应当和vonNeu mann型计算机的结构和算法有实质上的区别 光学神经网络可以看作光学信息处理和光计算系统的延伸和扩展 这也是我们将它纳入本书的原因 我们的典型方法是利用已很成熟的神经网络的理论模型 并考虑如何用光学的方案部分地实现它 这一方案在某些方面将比电子学方案更具优越性 8 2一般基础 8 2 1研究神经网络的原动力1943年 当时McCulloch和Pitts建立了一个神经活动的理论模型 在80年代 下面两个因素推动了对神经网络的研究工作 1 在诸如识别一个物体这一类课题上 计算机要末失败 要末比人脑甚至动物的脑慢得太多 2 计算机需要一组精确而复杂的指令来完成某一特定的计算或课题 一个 聪明的 计算机应当具备这样的功能 一旦某一任务被用户确定后 它能够自动去学习 掌握正确完成该项任务的方法 智能型 计算机的两个基本要求 识别能力 学习能力 2020 1 28 光学信息处理 6 8 2 2神经 人类的脑由大约1011个神经元构成 神经元由三个部分组成 1 细胞体 包含神经细胞核及生物化学机构 它可以合成细胞核的生存所必需的酶及其他分子 2 树突 像灌木丛一般形成许多分叉 围绕着细胞体 神经细胞正是通过它们形成的表面接受输入信号 3 轴突 是细胞体的延伸部分 它提供了信号从该细胞体传递到其他细胞的通道 神经内外包含着差别很大的液体 外部液体所含的钠约为内部液体的10倍 内部液体所含的钾约为外部的10倍 由于在细胞的一侧与另一侧钠离子和钾离子的浓度不同 轴突中心区域内部与外部约有 70mV的电位差 当阳离子穿过细胞膜上的通道进入细胞时 内部的电位将逐渐由负变为正 当电位差变为40mV时 另一组通道开启 释放阳离子 使电位差恢复成 70mV 这一电压脉冲称为作用电压或电神经信号 该电脉冲信号沿着轴突 一直传播到轴突与其他神经元的树突的结合处 2020 1 28 光学信息处理 8 位于轴突的端点和另一神经元之间的结合部是一个突触 在这里轴突膨大而形成终端球状结构 其中包含突触囊 当电神经信号到达终端球状体时 一些突触囊释放它们的成分 因此又称为化学 发射器 或传递器 它们被另一神经细胞的树突所接收 信息就这样通过化学传递器一程接一程地在神经元间传输 接收到信号的神经元 其树突的化学传递器起了开启和关闭细胞膜上的通道的作用 以改变细胞中的离子浓度 某些突触处于兴奋态时 它们总是要引发神经脉冲 而另一些突触处于抑制态时 它们能够压制或消灭一些信号 使之不可能再激励神经使之发射神经脉冲 2020 1 28 光学信息处理 9 8 2 3数学模型 神经的行为可以概括如下 1 一个神经元发射一个电脉冲 输出信号 脉冲的形状永远相同 因而它的输出可用一个二元状态来表述 1表示发射 0表示不动作 2 该电脉冲作为输入信号被另一个神经元所接收 树突作为化学传递器 接收电脉冲所荷载的信号 传递器的数目是事先确定的 传递器可以促进或抑制信号的传递 突触或输入的权重正比于传递器的数目 由整数表示 突触为正或负 分别表示兴奋或抑制 如果采取归一化的表示 则突触为实数 3 神经的发射作用 乃是突触被成百上千个神经作用所激活的的综合效果 是一个非线性过程 2020 1 28 光学信息处理 10 综上所述 神经的机理可以用数学公式表为zj f i jixi j 其中zj是第j个神经元的输出 ji是第i个神经元的输入和第j个神经元间的互连权重 xi是来自第i个神经元的输入 j是第j个神经元的偏置 而f则表示某个非线性的传递函数 注意zj和xi都是二元的 取值l或0 在最简单的情况下 f是阈值函数 表为zj 1 当 i jixi j T以及zj 0 当 i jixi j T式中T为阈值 当然传递函数也可能是S型函数而不是简单的step函数 2020 1 28 光学信息处理 11 McCulloch和Pitts提出的神经元数学模型 图8 1神经元的图示 2020 1 28 光学信息处理 12 8 2 4神经网络 脑是一个由大约1011个神经元构成的复杂的网络 每一个神经元通过约1000个突触与它周围的神经元发生互连作用 总共有1014个互连通道 若假设神经元只有两个状态 发出信息 或 不发出信息 则脑的自由度总数为2的1011次幂 研究表明 每一个思维 每一个感觉都是通过这个网络的活动实现的 实际工程中可把神经网络的问题简化 如图8 2所示 2020 1 28 光学信息处理 13 两层神经网络图示 2020 1 28 光学信息处理 14 工程神经网络的 描述 1 神经元是分层排列的 同一层内的神经元没有相互作用 任何一个神经元都不与它自身关联 2 每一神经元都按拓扑学的方式与相邻层面上的神经元发生互连 亦即从上一层面上的所有神经元上接收输入信号 并向下一层面上的所有神经元发出信号 互连权重由实数表示 3 每一神经元的输出都是二元的 4 信号同时 并行地向一个方向传输 称为前向馈送 数据则由神经元状态图表达 可以相信 输出和输入间的任何数学关系 事实上都可以用网络的互连图来表征 通过 学习 的特殊方法 数学关系式可自动地翻译 移植到互联网络中去 学习 过程的特点 通过对于 输入 输出 对的修正 反复调节网络 应当注意 网络并不能记住输入 输出对 而是在输入和输出之间合成数学关系式 并将合成的关系式存储在互连图案之中 每当新的输入 输出对参加到网络中来 合成关系就获得改进 这一过程称为 训练 由于该关系式是存储在互连图中 而不是由网络去记住输入 输出对 因而一个从未出现过的新的输入被网络接收时 根据已存储在互连图中的一般关系 该输入信号将引发一个正确的输出信号 2020 1 28 光学信息处理 16 当输入和输出之间的关系模糊 很难描述的时候 这种能力尤其有用 例如 很难写出一组明确的计算机指令 去识别人脸由于感情 视角 阴影的不同而引起的变化 然而 如果给出一系列输入 输出对 其中输入为不同条件下同一个人的脸 而输出则是他的名字 则网络将有能力把不同的面部图像与他的名字关联起来 因为网络在训练过程中已抽取了面部的特征 原则上网络满足的要求 1 具有识别能力 2 具备学习的能力 2020 1 28 光学信息处理 17 8 3光学互连 8 3 1矩阵 向量乘法方程 1 可改写为zj f yi j 1 其中yi i jixi 2 尽管用光学方法实现方程 1 很困难 但实现方程 2 却较简单 这是一个矩阵 向量乘法 而方程 1 可用电子学方法实现 矩阵 向量乘法光学系统 2020 1 28 光学信息处理 19 非相干光处理器的主要问题 不能同时处理正数和负数 解决方法 需要在矩阵 向量乘法器中有两个通道 分别对应于正和负的数值 最后正和负的结果可以用电子学的方法加以联合 正 负通道可用一对正交的偏振态来编码 也可以用不同时间的帧图像来编码 另一做法是 在每一权重中增加一个偏置 并相应调整阈值 也有人证明 当略去负的权重时神经网络的性能反而提高 2020 1 28 光学信息处理 20 相干光矩阵 向量乘法器 图8 4Kranzdorf相干光矩阵 向量乘法器 2020 1 28 光学信息处理 21 简化的矩阵 向量乘法器 线状光源均匀地照射到模板的一列上 而线状探测器则对一行的光强求和 图8 5简化的矩阵 向量乘法器 2020 1 28 光学信息处理 22 8 3 2透镜列阵 尽管我们还不清楚人的大脑是否把二维信息保持在相同的二维神经图案中 但图8 2所示的一维工程神经网络却容易扩展 以处理二维信息 相应地 1 2 式变成zjl f yjl jl 3 其中yjl i k jilkxik 4 输入输出都是二维矩阵 互连则是四维张量 4 式可由透镜列阵光学系统实现 矩阵 1维向量乘法 3 1向量及3 3矩阵 y1 11x1 12x2 13x3 5 y2 21x1 22x2 23x3 6 y3 31x1 32x2 33x3 7 用两个透镜阵实现矩阵 向量乘法运算 张量 矩阵乘法的光学实现 设要处理的是一个2 2矩阵 结果的矩阵中的元素由下式给出 y11 1111x11 1112x12 1211x21 1212x22 8 y12 1121x11 1122x12 1221x21 1222x22 9 y21 2111x11 2112x12 2211x21 2212x22 10 y22 2121x11 2122x12 2221x21 2222x22 11 一个透镜把输入矩阵模板x成像在互连张量模板 上 已进行分块处理 并构成二维模板的形式 后面的一个透镜列阵把x的像和 进行叠加 形成输出矩阵y 对于N N的输入矩阵 互连张量的元素为 N N 2个 而列阵中的透镜数也等于N N 成像透镜和透镜列阵实现张量 矩阵乘法 成像透镜和透镜列阵实现张量 矩阵乘法 2020 1 28 光学信息处理 27 Farhat和Psaltis的构想 面探测器 点探测器代替面探测器 2020 1 28 光学信息处理 28 Wu等方案 2020 1 28 光学信息处理 29 8 3 3光学相关器 yjl i k jilkxik 矩阵乘法 内积 相关Joint变换相关器示意图 自相关 互相关 2020 1 28 光学信息处理 30 Jutamulia提出用自适应联合变换相关器来实现 8 11 也就是 4 式 使用JTC来实现张量 矩阵乘法 2020 1 28 光学信息处理 31 应用JTC的优点 1 透镜列阵加工困难较大 特别是当矩阵x较大时 加工更困难 JTC的应用代替了透镜列阵 2 JTC具备表达单极性互连权重的能力 然而 正由于JTC是相关光学处理器 测到的强度是光学计算值的平方 VanderLugt相关器也可用于实现 8 11 式 与JTC不同 VanderLugt相关器中滤波器是很难调试的 当然也可以用光折变晶体来生成实时的匹配滤波器 Chao和Stoner仍用透镜列阵来实现多通道处理 而Psaltis等以及Hong等则用多角度体积全息来实现多通道处理 2020 1 28 光学信息处理 32 非相干投影方法 Lin等早在1989年就指出了相关处理的途径 他们使用了非相干投影方法 见下图 投影相关示图 f x 上每一像元都向各个方向辐射一个非相干光波 该光波透过函数g x 掩模板上所有的像元 同一方向的光束将会聚在透镜后焦面上的同一点 焦面的光强分布则提供了f x 和g x 的相关 为了模拟 8 11 用四个LED来表示x11 x12 x21和x22 分块矩阵模板则安排在LED后面 如右图 由于通过x11 1111 x12 1112 x21 1211和x22 1212的光线具有相同的方向 它们经过透镜聚焦在同一点y11 通过x11 1121 x12 1122 x21 1221和x22 1222的光线也具有相同的方向 经透镜后聚焦在y12 等等 用投影相关法实现张量 矩阵乘法 2020 1 28 光学信息处理 34 8 3 4全息术方法 全息图记录物光和参考光形成的干涉图 参考光通常从一个点源辐射 当用参考光再次照射全息图时 就可以用光学方法重构原来的物体 在全息技术中 分块矩阵模板可以用一组全息图来记录 当用输入矩阵x重构时 方程 8 11 就可用全息方法有效地实现 在全息技术中 分块矩阵模板可以用一组全息图来记录 当用输入矩阵x重构时 方程 8 11 就可用全息方法有效地实现 2020 1 28 光学信息处理 35 全息图H11 H12 H21 H22的制作 参考光x11 参考光x12 参考光x21 参考光x22 11 12 22 21 2020 1 28 光学信息处理 36 2020 1 28 光学信息处理 37 参考光x11 参考光x12 参考光x21 参考光x22 重构 ij 的强度正比于点源xij的光强 2020 1 28 光学信息处理 38 Ivanov等把一组一维全息图装在一个可旋转的光学转盘系统上以实现矩阵 向量乘法 在时刻t1 输入x1通过一维全息图在y1 y2和y3处分别产生 11x1 21x2和 31x3 在时刻t2 由于转盘转到另一位置 输入x2通过全息图在y1 y2和y3分别产生 12x1 22x2和 32x3 如此等等 在时刻t1到t3 位于y1 y3的每一探测器分别积分以得到 5 7 Psaltis和他的合作者用单个体全息图代替分离的全息图列阵来计算 8 11 他们设想 从x11辐射的光波经过体全息图中与互连权重 1111对应的光栅的衍射 应当射向y11 等等 在 8 11 式给出的例子中 有8组光栅共存于体全息介质中 光栅 1111不会干扰除x11以外其他光源辐射的光波 如果全息光栅 1111是由x11辐射的光波和另一个会聚于y11的光波形成的 如图所示 那么只有x11辐射的光波才满足Bragg条件 它被 1111衍射 衍射波会聚于y11 来自其他光源的光被均不满足Bragg条件 因而不受 1111的影响 2020 1 28 光学信息处理 40 8 3 6光学互连的优点 一般来讲 不用超大规模集成电路 VLSI 系统而采用光学互连方案的原因在于 1 电信号在金属互连网络中的传输取决于单位长度的电容 当互连通道数增大时 传输速度会降下来 而光学互连的速度与互连通道数无关 2 光学信号在空间可以独立传播 彼此间不相互干扰 3 光学信号可在三维自由空间中传输 4 互连可以通过SLM适当地改变 5 光学信号非常容易转变成电信号 2020 1 28 光学信息处理 41 神经网络所要求的矩阵 向量或张量 矩阵乘法是非常特殊的 此外 在各种用光学系统实现互连的方案中 内积方法较容易实现 因此比较常用 以实现各种矩阵运算 在神经网络中采用光学方法的主要原因 在于超大规模集成电路不可能实现高达103 106的互连或扇入 扇出 因为电路中每一对输入 输出都要求单一的分立通道 由此我们也可以想像 将来到了每个神经元的互连高于1000时 光学神经网络才真正有了用武之地 2020 1 28 光学信息处理 42 8 4结论 本章主要讨论了实现混合型神经网络的光学系统 这些神经网络以互连和非线性运算为其特色 光学系统就其本质而言 原则上是适合于实现互连操作的 其中的非线性运算则可以用电子学和数字计算机方法来完成 我们介绍了神经网络理论的基础 我们主要讨论了实现矩阵 向量乘法和张量 矩阵乘法运算光学方案