反馈神经网络精选PPT.ppt

《反馈神经网络精选PPT.ppt》由会员分享，可在线阅读，更多相关《反馈神经网络精选PPT.ppt（41页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、反馈神经网络反馈神经网络第1页，此课件共41页哦 根据神经网络运行过程中的信息流向，可分为前馈式和反馈式两根据神经网络运行过程中的信息流向，可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩阵决定，而与网种基本类型。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。络先前的输出状态无关。美国加州理工学院物理学家美国加州理工学院物理学家J.J.HopfieldJ.J.Hopfield教授于教授于19821982年提出年提出一种单层反馈神经网络，后来人们将这种反馈网络称作一种单层反馈神经网络，后来人们将这种反馈网络称作Hopfield Hopfield 网。在其中

2、引入了能量函数网。在其中引入了能量函数 概念，这对概念，这对ANNANN研究研究具有重大意义，使得网络运行稳定性判断有了可靠依据。具有重大意义，使得网络运行稳定性判断有了可靠依据。19851985年，年，hopfieldhopfield与与D.W.TankD.W.Tank合作用模拟电子线路实现了合作用模拟电子线路实现了HopfieldHopfield网络，成功求解了优化组合中著名的网络，成功求解了优化组合中著名的TSPTSP问题，对问题，对NNNN发发展贡献巨大。展贡献巨大。第2页，此课件共41页哦ANNANN学习方法有学习方法有3 3种：有导师、无导师和死记硬背式。前两种分别种：有导师、无导

3、师和死记硬背式。前两种分别在第在第3 3章的章的BPBP网络和第网络和第4 4章的章的SOMSOM网络涉及，最后一种方法的网络权值网络涉及，最后一种方法的网络权值不是经过反复学习获得，而是一旦确定就不再改变，不是经过反复学习获得，而是一旦确定就不再改变，HopfieldHopfield网络就采网络就采用该种学习方法。网络中各神经元状态不断变化，直到稳定时的状态就是用该种学习方法。网络中各神经元状态不断变化，直到稳定时的状态就是问题的解。问题的解。HopfieldHopfield网络分为离散型和连续型两种网络模型，分别记网络分为离散型和连续型两种网络模型，分别记作作DHNN(Discrete H

4、opfield Neural Network)DHNN(Discrete Hopfield Neural Network)和和CHNN CHNN(Continues Hopfield Neural Network)(Continues Hopfield Neural Network)，本书主要讨论前一种类，本书主要讨论前一种类型。型。第3页，此课件共41页哦6.1.1 6.1.1 网络的结构与工作方式网络的结构与工作方式 单层全反馈网络：单层全反馈网络：离散型反馈网络的拓扑结构离散型反馈网络的拓扑结构 6.16.1离散型离散型HopfieldHopfield神经网络神经网络第4页，此课件共41

5、页哦有有n n个神经元，每个神经元输出均通过连接权个神经元，每个神经元输出均通过连接权wij反馈至所有神经元反馈至所有神经元xj作为输入。即每个神作为输入。即每个神经元都接受所有神经元输出反馈回来的信息，经元都接受所有神经元输出反馈回来的信息，使得各神经元相互制约。每个神经元都有一使得各神经元相互制约。每个神经元都有一个阈值个阈值Tj，对噪声加以控制。因此，对噪声加以控制。因此DHNNDHNN网可网可以简记为以简记为N N=（W W，T T）。）。第5页，此课件共41页哦(1)(1)网络的状态网络的状态 DHNN网中的每个神经元都有相同的功能，其输出称为状态，网中的每个神经元都有相同的功能，其

6、输出称为状态，用用 xj 表示。表示。j=1,2,n 所有神经元状态的集合就构成反馈网络的状态所有神经元状态的集合就构成反馈网络的状态X=x1,x2,xnT 反馈网络的输入就是网络的状态初始值，表示为反馈网络的输入就是网络的状态初始值，表示为X(0)=x1(0),x2(0),xn(0)T 反馈网络在外界输入激发下，从初始状态进入动态演变反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为过程，变化规律为f 为传递函数为传递函数第6页，此课件共41页哦j=1,2,n (6.1)DHNN网的转移函数常采用符号函数网的转移函数常采用符号函数 式中净输入为式中净输入为 j=1,2,n (6

7、.2)对于对于DHNN网，一般有网，一般有wii=0，wij=wji。反馈网络稳定时每个神经元的状态都不再改变，此时的反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出，表示为稳定状态就是网络的输出，表示为 第7页，此课件共41页哦(2)(2)网络的异步工作方式网络的异步工作方式 (6.3)(3)(3)网络的同步工作方式网络的同步工作方式 网络的同步工作方式是一种并行方式，所有神经元同时调整网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即状态，即 j=1,2,n (6.4)网络运行时每次只有一个网络运行时每次只有一个神经元神经元 j 进行状态的调整计算，其进行状

8、态的调整计算，其它神经元的状态均保持不变，即它神经元的状态均保持不变，即第8页，此课件共41页哦一、一、网络的稳定性网络的稳定性 DHNN网实质上是一个离散的非线性动力学系统。网络从初网实质上是一个离散的非线性动力学系统。网络从初态态X(0)开始，若能经有限次递归后，其状态不再发生变化，开始，若能经有限次递归后，其状态不再发生变化，即即X(t+1)X(t)，则称该网络是稳定的。，则称该网络是稳定的。如果网络是稳定的，它可以从任一初态收敛到一个稳态：如果网络是稳定的，它可以从任一初态收敛到一个稳态：6.1.2 网络的稳定性与吸引子网络的稳定性与吸引子 反馈网络作为非线性动力学系统，具有丰富的动态

9、特性，如稳定性、有限环状态和混沌状态等。第9页，此课件共41页哦若网络是不稳定的，由于若网络是不稳定的，由于DHNNDHNN网每网每个节点的状态只有个节点的状态只有1 1和和-1-1两种情况，两种情况，网络不可能出现无限发散的情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，而只可能出现限幅的自持振荡，这种网络称为这种网络称为有限环网络有限环网络。如果网络状态的轨迹在某个确定的如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为散到无穷远，这种现象称为混沌

10、混沌。第10页，此课件共41页哦网络达到稳定时的状态网络达到稳定时的状态X，称为网络的，称为网络的 吸引子吸引子。如果把问题的解编码为网络的吸引子，如果把问题的解编码为网络的吸引子，从初态向吸引子演变从初态向吸引子演变的过程的过程便是求解计算的过程。便是求解计算的过程。若把需记忆的样本信息存储于网络不同的吸引子，当输入含若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是有部分记忆信息的样本时，网络的演变过程便是从部分信息从部分信息寻找全部信息寻找全部信息，即，即联想回忆联想回忆的过程。的过程。定义定义6.1 若网络的状态若网络的状态X 满足满足X=f

11、(WX-T)则称则称X为网络的吸引子。为网络的吸引子。二、二、吸引子与能量函数吸引子与能量函数 第11页，此课件共41页哦定理定理6.1 对于对于DHNN 网，若网，若按异步方式按异步方式调整网络状态，且连调整网络状态，且连接权矩阵接权矩阵W 为对称阵为对称阵，则对于任意初态，网络都最终收敛到一，则对于任意初态，网络都最终收敛到一个吸引子。个吸引子。定理定理6.1证明：证明：定义网络的能量函数为：定义网络的能量函数为：(6.5)令网络的能量改变量为令网络的能量改变量为E，状态改变量为，状态改变量为X，有，有(6.6)(6.7)第12页，此课件共41页哦将式将式(6.4)、(6.6)代入代入(6

12、.5)，则网络能量可进一步展开为，则网络能量可进一步展开为(6.8)将将 代入上式代入上式，并考虑到，并考虑到W为对称矩阵，有为对称矩阵，有 第13页，此课件共41页哦(6.9)上式中可能出现的情况：上式中可能出现的情况：情情况况a a：xj(t)=-1,xj(t+1)=1,由由式式(6.7)得得xj(t)=2,由由式式(6.1)知，知，netj(t)0，代入式，代入式(6.9)，得，得E(t)0。情情况况b b：xj(t)=1,xj(t+1)=-1,所所以以xj(t)=-2,由由式式(6.1)知知，netj(t)0，代入式，代入式(6.9)，得，得E(t)P，则权值矩阵为记忆样本的外积和，则

13、权值矩阵为记忆样本的外积和(6.16)第36页，此课件共41页哦若取若取wjj=0，上式应写为，上式应写为(6.17)式中式中I为单位矩阵。上式写成分量元素形式，有为单位矩阵。上式写成分量元素形式，有(6.18)下面检验所给样本能否称为吸引子。下面检验所给样本能否称为吸引子。因为因为P个样本个样本Xp，p=1,2,P，x-1,1n 是两两正交的，有是两两正交的，有 第37页，此课件共41页哦因为因为n P，所以有，所以有 可见给定样本可见给定样本 Xp，p=1,2,P 是吸引子。是吸引子。第38页，此课件共41页哦6.1.4 网络的信息存储容量网络的信息存储容量p网络所能存储的最大模式数网络所

14、能存储的最大模式数Pmax称为网络容称为网络容量。与网络规模、算法、记忆模式向量分布量。与网络规模、算法、记忆模式向量分布有关。有关。p定理定理6.3 6.3 若若DHNNDHNN网络的规模为网络的规模为n，且权矩阵，且权矩阵主对角线元素为主对角线元素为0 0，则该网络的信息容量上，则该网络的信息容量上界为界为n。p定理定理6.4 6.4 若若P个记忆模式个记忆模式XP,p=1,2,=1,2,P,x-1,1-1,1n两两相交，两两相交，nP,且权值矩阵且权值矩阵W W按式按式6.176.17得到，则所有得到，则所有P个记忆模式都是个记忆模式都是DHNNDHNN网网(W,0),0)的吸引子。的吸

15、引子。第39页，此课件共41页哦p定理定理6.5 6.5 若若P个记忆模式个记忆模式XP,p=1,2,=1,2,P,x-1,1-1,1n两两相交，两两相交，nP,且权值矩阵且权值矩阵W W按式按式6.166.16得到，则所有得到，则所有P个记忆模式都是个记忆模式都是DHNNDHNN网网(W,0),0)的的吸引子。吸引子。p事实上，在事实上，在n n一定时，记忆的模式越多，联想一定时，记忆的模式越多，联想出错的可能性越大。出错的可能性越大。p研究表明，存储模式研究表明，存储模式P P超过超过0.150.15n时，联系时时，联系时就有可能出错。错误结果是能量的某个局部极就有可能出错。错误结果是能量的某个局部极小点，称作伪吸引子。小点，称作伪吸引子。p提高存储容量的提高存储容量的2 2个途径：一为改进拓扑结构；个途径：一为改进拓扑结构；二为改进权值设计方法，如反复学习发、纠错二为改进权值设计方法，如反复学习发、纠错学习法等学习法等第40页，此课件共41页哦-完完-第41页，此课件共41页哦