神经网络网络.ppt

《神经网络网络.ppt》由会员分享，可在线阅读，更多相关《神经网络网络.ppt（39页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、神经网络网络神经网络网络现在学习的是第1页，共39页第七章 神经网络控制系统 7.4 反馈神经网络模型反馈神经网络模型Hopfield网络网络现在学习的是第2页，共39页 Hopfield网络属于网络属于无监督学习无监督学习神经元网络。神经元网络。Hopfield网络是单层反馈网络，是一种全连接加权无向图，可分为连网络是单层反馈网络，是一种全连接加权无向图，可分为连续型和离散型二种形式。续型和离散型二种形式。7.4 反馈神经网络模型Hopfield网络 1982年，JHopfield提出了可用作联想存储器的互连网络，这个网络称为Hopfield网络模型，也称Hopfield模型。Hopfiel

2、d神经网络模型是一种循环神经网络，从输出到输入有反馈连接。现在学习的是第3页，共39页图726 Hopfield网络 现在学习的是第4页，共39页 Hopfield网络是单层反馈网络，有n个神经元节点，每个神经元的输出连接到其它神经元的输入。各个节点自己没有反馈，图中的每个节点都附有一个阈值和权系数。每个节点都可处于一种可能的状态（1或1），即当该神经元所受的刺激越过其阈值时，神经元处于一种状态（比如1）。否则神经元就始终处于另一状态（比如1），图中顶点的个数就是该神经网络的阶数。现在学习的是第5页，共39页 从时域上来看，Hopfield 网可以用一组耦合的非线性微分方程来表示。在一定条件下

3、，Hopfield网络可以用作联想存储器。Hopfield网络得到广泛应用的另一个特点是它具备快速优化能力。离散型的Hopfield网络即二值型的Hopfield网络，只有一个神经元层次。每个处理单元均有一个活跃值（状态）取两个可能的状态值之一，通常用0和1或1和1来表示神经元的两个状态，即抑制或兴奋。整个网络的状态由单一神经元的状态组成。网络的状态可用一个由0(-1)/1组成的矢量来表示，其中每一元素对应于某个神经元的状态。现在学习的是第6页，共39页其特点：1)自联想回归(或全连接)，所有神经元与其它单元相连，但无自连接；2)按内容编址存贮器方式进行操作，新提供的输入模式可自动找到已存贮的

4、合适模式。Hopfield网络可以看成是一个动态系统，其相空间包含代表系统基本存贮内容的固定(稳定)点的集合。Hopfield网络可以检索信息,以一定的误差恢复信息。现在学习的是第7页，共39页图727 Hopfield基本单元 现在学习的是第8页，共39页现在学习的是第9页，共39页 如果Hopfield网络是一个能收敛的稳定网络，则反馈与迭代过程所产生的变化越来越小，一旦到达了稳定平衡状态；那么Hopfield网络就会输出一个稳定的恒值。对于一个Hopfield网络来说，关键是在于确定它在稳定条件下的权系数。应该指出：反馈网络有稳定的，也有不稳定的。对于Hopfield网络来说，还存在如何

5、判别它是稳定网络，亦或是不稳定的问题；而判别依据是什么，也是需要确定的。现在学习的是第10页，共39页1 离散离散Hopfield网络网络 Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0这两个值，所以，也称离散Hopfield神经网络。在离散HopfieId网络中，所采用的神经元是二值神经元；故而，所输出的离散值1和0分别表示神经元处于激活和抑制状态。先考虑由三个神经元组成的离散Hopfield神经网络，其结构如图713中所示。现在学习的是第11页，共39页图713 离散Hopfield神经网络结构图现在学习的是第12页，共39页 第一层是实际神经元，故而执行对输人信息和

6、权系数乘积求累加和，并由非线性函数f处理后产生输出信息。f是一个简单的阈值函效，如果神经元的输出信息大于阈值，那么，神经元的输出就取值为1；小于阈值，则神经元的输出就取值为。对于二值神经元，它的计算公式如下其中：xi为外部输入。并且有：Yi=1,当Uii时Yi=0,当Ui0当神经网络从t0开始，有初始状态Y(0)；经过有限时刻t，有：Y(t+t)=Y(t)则称网络是稳定的。对Hopfield网络引入一个Lyapunov函数，即所谓能量函数现在学习的是第17页，共39页即：对于神经元j，其能量函数可表示为：即：现在学习的是第18页，共39页神经元j的能量变化量表示为Ej：如果存在条件 Wii=0

7、,i=1,2,.,n Wij=Wji i=1,2,.,n j=1,2,.,n则有：现在学习的是第19页，共39页式中：Ej为神经元j的能量；Ej为神经元j的能量变化；Wij为神经元i到神经元j的权系数：Yi为神经元j的输出；Xj为神经元j的外部输入；j为神经元j的阀值；Yj为神经元j的输出变化。如果，令Uj=WijYi+Xj则Ej可表示为：考虑如下两种情况：现在学习的是第20页，共39页 1如果Ujj，即神经元j的输入结果的值大于阀值，则Uj-j0，则从二值神经元的计算公式知道：Yj的值保持为1，或者从0变到1。这说明Yj的变化Yj只能是0或正值。这时很明显有Ej：Ej0这说明Hopfield

8、网络神经元的能量减少或不变。2如果Ujj，即神经元j的输入结果的值小于阀值，则Uj-j0，则从二值神经元的计算公式可知：Yj的值保持为0，或者从1变到0。这说明Yj的变化Yj只能是零或负位。这时则有Ej：Ej0这也说明Hopfield网络神经元的能量减少。现在学习的是第21页，共39页 上面两点说明了Hopfield网络在权系数矩阵W的对角线元素为0，而且W矩阵元素对称时，Hopfield网络是稳定的。hopfield网络的一个功能是可用于联想记忆，也即是联想存储器。这是人类的智能特点之一。对于Hopfield网络，用它作联想记忆时，首先通过一个学习训练过程确定网络中的权系数，使所记忆的信息在

9、网络的n维超立方体的某一个顶角的能量最小。当网络的权系数确定之后，只要向网络给出输入向量，这个向量可能是局部数据即不完全或部分不正确的数据，但是网络仍然产生所记忆的信息的完整输出。现在学习的是第22页，共39页 1984年Hopfield开发了一种用n维Hopfield网络作联想存储器的结构。在这个网络中，权系数的赋值规则为存储向量的外积存储规则(out product storage prescription)其原理省略。2 连续Hopfield网络 连续Hopfield网络的拓朴结构和离散Hopfield网络的结构相同。这种拓朴结构和生物的神经系统中大量存在的神经反馈回路是相一致的。在连续

10、Hopfield网络中，和离散Hopfield网络一样，其稳定条件也要求Wij=Wji。现在学习的是第23页，共39页连续Hopfield网络和离散Hopfield网络不同的地方在于其函数g不是阶跃函数，而是S形的连续函数。一般取g(u)=1/(1+e-u)当网络神经元的传递函数是S函数，并且网络权系数矩阵对称；则随时间的变化网络的能量会下降或不变；且仅当输出电位随时间变化不变时网络的能量才会不变。换而言之，在上述条件下的网络是能量不变或下降的。定理的证明省略 可以证明，如果Hopfield网络的传递函数g是连续而且有界的，那么，能量函数E(t)是有界的。现在学习的是第24页，共39页最后结论

11、：当Hopfield网络的神经元传递函数g是连续且有界的，eg：Sigmoid函数，并且网络的权系数矩阵对称，则这个连续Hopfield网络是稳定的。在实际应用中任一系统，如果其优化问题可以用能量函数E(t)作为目标函数，则总可以用连续Hopfield网络对其进行求解。由于引入能量函数E(t)，Hopfield使神经网络和问题优化直接对应；这种工作是具开拓性的。利用神经网络进行优化计算，就是在神经网络这一动力系统给出初始的估计点，即初始条件；然后随网络的运动传递而找到相应极小点。这样，大量的优化问题都可以用连续的Hopfield网来求解。这也是Hopfield网络用于神经计算的基本原因。现在学

12、习的是第25页，共39页 例2：由3个神经元组成的Hopfield网络，有2个基本存贮器，存贮2个向量1，-1，1和-1，1，-1，设计权连接矩阵。解析：按公式：现在学习的是第26页，共39页相应的连接图形如728：现在学习的是第27页，共39页满足匹配条件的固定点或向量计算如下：现在学习的是第28页，共39页 其它点都是不稳定的点，例如，对1，1，1，和1，1，-1，迭代结果都移向稳定点。对1，1，1 现在学习的是第29页，共39页对1，1，-1 现在学习的是第30页，共39页此过程可用图表示如729：现在学习的是第31页，共39页 Hopfield网络的工作过程有网络的工作过程有4个步骤：

13、个步骤：1）存贮（学习），异步、随机。）存贮（学习），异步、随机。2）初始化，加入初始试样，然后移走。）初始化，加入初始试样，然后移走。3）迭代直至收敛）迭代直至收敛4）输出，得到稳定点）输出，得到稳定点。现在学习的是第32页，共39页 例例7-3假设一个假设一个3节点的离散节点的离散Hopfield神经网络，已知网络权值与阈值如下图神经网络，已知网络权值与阈值如下图730所示，已知网络权值初值圈内为阈值，线上为连接函数。计算状态转移关系。所示，已知网络权值初值圈内为阈值，线上为连接函数。计算状态转移关系。图730 离散Hopfield神经网络 现在学习的是第33页，共39页 解析：以初始状态

14、 为例，我们可以依次选择节点 ，确定其节点兴奋的条件及状态的转移。假设首先选择节点 ，激励函数为 可见，节点 处于兴奋状态并且状态y1由01。网络状态由000100，转移概率为1/3。同样其它两个节点也可以以等概率发生状态变化，它们的激励函数为 现在学习的是第34页，共39页 节点 状态保持不变。因此，由状态000不会转移到001和010。图230 b)网络状态转移，圈内为状态，线上为转移概率 现在学习的是第35页，共39页 从这个例子上可以看出，系统状态是一个网络的稳定状态；网络从任意一个初始状态开始经几次的状态更新后都将到达此稳态。现在学习的是第36页，共39页 仔细观察图中的状态转移关系

15、，就会发现 Hopfield网络神经元状态要么在同一“高度”上变化，要么从上向下转移。这样的一种状态变化有着它必然的规律。Hopfield网络状态变化的核心是每个状态定义一个能量E，任意一个神经元节点状态变化时，能量E都将减小。这也是Hopfield网络系统稳定的重要标记。Hopfield这种用非线性动力学系统理论中的能量函数方法（或Liapunov函数）研究反馈神经网络的稳定性，并引入能量函数。现在学习的是第37页，共39页 则Hopfield神经网络中的状态变化导致能量函数E的下降，并且能量函数的极小值点与网络稳定状态有着紧密的关系。定理4-1离散Hopfield神经网络的稳定状态与能量函数E在状态空间的局部极小状态是一一对应的。现在学习的是第38页，共39页谢谢！现在学习的是第39页，共39页