《神经网络基础》PPT课件.ppt

《《神经网络基础》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《神经网络基础》PPT课件.ppt（52页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第二章第二章 神经网络基础神经网络基础 本章简单地介绍生物神经元、神经元模本章简单地介绍生物神经元、神经元模型、人工神经网络模型及其学习算法。型、人工神经网络模型及其学习算法。1第二章第二章 神经网络基础神经网络基础2.1 生物神生物神经元模型元模型2.2 人工神人工神经元模型元模型2.3 网网络拓扑拓扑结构构类型型2.4 人工神人工神经网网络模型模型2.5 神神经网网络的学的学习2.6 小小结22.1 生物神生物神经元模型元模型n神神经经元元是是脑脑组组织织的的基基本本单单元元，是是神神经经系系统统结结构构与与功功能能的的单单元元。据据统统计计大大脑脑大大约约包包含含 个个神神经经元元，每每

2、个个神神经经元元于于大大约约 个个其其他他的的神神经经元元相相连连接接，构构成成一一个个极极为为庞庞大大而而复复杂杂的的网网络络，即即生生物物神神经经元元网网络络。生生物物神神经经元元网网络络中中各各神神经经元元之之间间连连接接的的强强弱弱，按按照照外外部部的的刺刺激激信信号号做做自自适适应应变变化化，而而每每个个神神经经元元又又随随着着所所接接受受的的的的多多个个激激励励信信号号的的综综合合结结果果呈呈现现出出兴兴奋奋与与抑抑制制状状态态。大大脑脑的的学学习习过过程程就就是是神神经经元元之之间间连连接接强强度度随随外外部部刺刺激激信信息息做做自自适适应应变变化化的的过过程程，大大脑脑处处理理

3、星星系系的的结结果果有有个个圣圣经经元元状状态态的的整整体体效效果果确确定定。3n生物神经元基本结构生物神经元基本结构细胞体（细胞体（Cell body）树突树突 (Dendrite)轴突轴突 （Axon）突触突触 （Synapse）每一个神经元都通过突触与每一个神经元都通过突触与其他神经元联系，突触的其他神经元联系，突触的“连接强度连接强度”可随系可随系统受到训练的强度而改变。统受到训练的强度而改变。生物神经元结构生物神经元结构 4n生物神经元功能生物神经元功能兴奋与抑制兴奋与抑制 传入神经元的冲动经整和后使细胞膜电位升高，传入神经元的冲动经整和后使细胞膜电位升高，超过动作电位的阈值时即为兴

4、奋状态，产生神超过动作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。传入神经元经冲动，由轴突经神经末梢传出。传入神经元的冲动经整和后使细胞膜电位降低，低于阈值的冲动经整和后使细胞膜电位降低，低于阈值时即为抑制状态，不产生神经冲动。时即为抑制状态，不产生神经冲动。学习与遗忘学习与遗忘 由于神经元结构的可塑性，突触的传递作用可由于神经元结构的可塑性，突触的传递作用可增强与减弱，因此神经元具有学习和遗忘的功增强与减弱，因此神经元具有学习和遗忘的功能。能。返回返回 52.2 人工神经元模型人工神经元模型n人工神经网络是在现代神经生物学研究基础上提人工神经网络是在现代神经生物学研究基础上

5、提出的模拟生物过程以反应人脑某些特性的计算结出的模拟生物过程以反应人脑某些特性的计算结构。它不是人脑神经系统的真实描写，只是特的构。它不是人脑神经系统的真实描写，只是特的某种抽象、简化和模拟。某种抽象、简化和模拟。n人工神经元是对生物圣经元的一种形式化描述，人工神经元是对生物圣经元的一种形式化描述，他对生物神经元的信息处理过程进行抽象，应用他对生物神经元的信息处理过程进行抽象，应用数序语言予以描述，对生物神经元的结构与功能数序语言予以描述，对生物神经元的结构与功能进行模拟，并用模型图予以表达。进行模拟，并用模型图予以表达。61943年，年，McCulloch-Pitts(麦克洛奇皮兹麦克洛奇皮

6、兹)根据生物根据生物神经元的动作原理提出了神经元模型，即神经元的动作原理提出了神经元模型，即M-P模型，模型，经过不断改进，形成目前广泛应用的形式神经元模型。经过不断改进，形成目前广泛应用的形式神经元模型。对于神经元的处理机制，该模型在简化的基础上提出对于神经元的处理机制，该模型在简化的基础上提出以下以下6点点假设进行描述：假设进行描述：1.每个神经元都是一个多输入单输出的信息处理单元每个神经元都是一个多输入单输出的信息处理单元2.突触分兴奋性和抑制性两种类型突触分兴奋性和抑制性两种类型3.神经元具有空间整合特性和阈值特性神经元具有空间整合特性和阈值特性4.神经元输入与输出间有固定的时滞，主要

7、取决于突神经元输入与输出间有固定的时滞，主要取决于突触的延迟触的延迟5.忽略时间整合作用和不应期忽略时间整合作用和不应期6.神经元本身是非时变的，即其突触时延和突触强度神经元本身是非时变的，即其突触时延和突触强度均为常数均为常数7n人工神经元是对生物神经元的一种模拟与简化。人工神经元是对生物神经元的一种模拟与简化。它是神经网络的基本处理单元。下图显示了一种它是神经网络的基本处理单元。下图显示了一种简化的人工神经元结构。它是一个多输入、单输简化的人工神经元结构。它是一个多输入、单输出的非线性元件。出的非线性元件。人工神经元结构模型人工神经元结构模型8n人工神经元输入输出关系可描述为人工神经元输入

8、输出关系可描述为其中其中xj(j=1,2,n)是从其它神经元传来的输入信是从其它神经元传来的输入信号号 wji表示从神经元表示从神经元j到神经元到神经元i的连接权值的连接权值 i 为阈值为阈值 f()称为激发函数或作用函数称为激发函数或作用函数(2-1)有时为了方便起见，常把有时为了方便起见，常把 看成是恒等于看成是恒等于1的输的输入入x0的权值，这时式的权值，这时式(2-1)的和式可写成的和式可写成9n输出激发函数输出激发函数f()又称为变换函数，它决定神经元又称为变换函数，它决定神经元(节点节点)的输出。该输出为的输出。该输出为1或或0，取决于其输入之和，取决于其输入之和大于或小于内部阈值

9、。函数一般具有非线性特征。大于或小于内部阈值。函数一般具有非线性特征。下面几个图表示了几种常见的激发函数。下面几个图表示了几种常见的激发函数。(1)阈值函数阈值函数(见图见图(a),(b)当当yi取取0或或1时，时，f(x)为图为图(a)所示所示的阶跃函数：的阶跃函数：10当当yi取取-1或或1时，时，f(x)为图为图(b)所示的所示的sgn函数：函数：(2)饱和型函数饱和型函数(见图见图(c)11(4)双曲函数双曲函数(见图见图(d)(5)S型函数型函数(见图见图(e)神经元的状态与输入作用之间的关系是在神经元的状态与输入作用之间的关系是在(0,1)内连续取值的单调可微函数，称为内连续取值的

10、单调可微函数，称为Sigmoid函数，函数，简称简称S型函数。当型函数。当 趋于无穷时，趋于无穷时，S型曲线趋于阶型曲线趋于阶跃函数，通常情况下，跃函数，通常情况下，取值为取值为1。12(6)高斯型函数高斯型函数(见图见图(f)在径向基函数构成的神经网络中，神经元的结构可在径向基函数构成的神经网络中，神经元的结构可用高斯函数描述如下：用高斯函数描述如下：返回返回 132.3 网络拓扑结构类型网络拓扑结构类型n层次型结构层次型结构n互联型结构互联型结构网络的学习算法将在今后的小节中介绍。网络的学习算法将在今后的小节中介绍。14神经网络的连接模式神经网络的连接模式n层内连接层内连接 本层内部神经元

11、之间的连接，可用来加强层内本层内部神经元之间的连接，可用来加强层内神经元之间的竞争。神经元之间的竞争。n循环连接循环连接 指神经元到自身的连接。用于不断增强自身的指神经元到自身的连接。用于不断增强自身的激活值，使本次的输出与上次的输出相关。激活值，使本次的输出与上次的输出相关。n层间连接层间连接 指不同层之间的连接。这种连接用来实现信号指不同层之间的连接。这种连接用来实现信号传递。可以是前向的也可以是反向的。传递。可以是前向的也可以是反向的。返回返回 152.4人工神经网络模型人工神经网络模型n人工神经网络是以工程技术手段来模拟人脑神人工神经网络是以工程技术手段来模拟人脑神经网络的结构与特征的

12、系统。经网络的结构与特征的系统。n利用人工神经元，可以构成各种不同拓扑结构利用人工神经元，可以构成各种不同拓扑结构的神经网络。的神经网络。n就神经网络的主要连接形式而言，目前已有数就神经网络的主要连接形式而言，目前已有数十种不同的神经网络模型，其中前馈网络和反馈十种不同的神经网络模型，其中前馈网络和反馈网络是两种典型的结构模型。网络是两种典型的结构模型。16(1)前馈神经网络前馈神经网络前馈神经网络，又称前向网络。如下图所示，神经前馈神经网络，又称前向网络。如下图所示，神经元分层排列，有输入层、隐层元分层排列，有输入层、隐层(亦称中间层，可有若亦称中间层，可有若干层干层)和输出层，每一层的神经

13、元只接受前一层神经和输出层，每一层的神经元只接受前一层神经元的输入。元的输入。17目目前前，大大部部分分前前馈馈网网络络都都是是学学习习网网络络，它它们们的的分分类类能能力力和和模模式式识识别别能能力力一一般般都都强强于于反反馈馈网网络络，典典型型的的前前馈馈网网络络有有感感知知器器网网络络、误误差差反向传播反向传播(BP)网络等。网络等。18 (2)反馈型神经网络反馈型神经网络 反馈神经网络的结构如图所示。若总节点（神经元）反馈神经网络的结构如图所示。若总节点（神经元）数为数为N，则每个节点有，则每个节点有N个输入和一个输出，即所有个输入和一个输出，即所有节点都是一样的，它们之间都可相互连接

14、。节点都是一样的，它们之间都可相互连接。19 Hopfield神经网络是反馈网络中最简单且应用神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆的功能，如果广泛的模型，它具有联想记忆的功能，如果将将Lyapunov函数定义为寻优函数，函数定义为寻优函数，Hopfield神经网络还可以用来解决快速寻优问题。神经网络还可以用来解决快速寻优问题。返回返回 202.5 神神经网网络的学的学习n人工神经网络最有吸引力的特点就是它的学习能人工神经网络最有吸引力的特点就是它的学习能力。学习方法是体现人工神经网络智能特征的主力。学习方法是体现人工神经网络智能特征的主要指标，离开了学习算法，人工神经网络

15、就失去要指标，离开了学习算法，人工神经网络就失去了自适应、自组织和自学习的能力。了自适应、自组织和自学习的能力。n人工神经网络的学习过程就是对它的训练过程。人工神经网络的学习过程就是对它的训练过程。所谓所谓训练训练，就是在将由样本向量构成的样本集合，就是在将由样本向量构成的样本集合输入到人工神经网路的过程中，按照一定方式去输入到人工神经网路的过程中，按照一定方式去调整神经元之间的连接权。使网络能将样本集的调整神经元之间的连接权。使网络能将样本集的内涵以连接权矩阵的方式存储起来，从而使网络内涵以连接权矩阵的方式存储起来，从而使网络在数据输入时可以给出适当的输出。在数据输入时可以给出适当的输出。2

16、1n目前神经网络的学习方法有多种，按有无教师信目前神经网络的学习方法有多种，按有无教师信号来分类，可分为有教师学习、无教师学习和再号来分类，可分为有教师学习、无教师学习和再励学习等几大类。在有教师的学习方式中，网络励学习等几大类。在有教师的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权值，最终然后根据两者之间的差异调整网络的权值，最终使差异变小。在无教师的学习方式中，输入模式使差异变小。在无教师的学习方式中，输入模式进入网络后，网络按照预先设定的规则（如竞争进入网络后，网络按照预先设定的规则（如竞争规则）自

17、动调整权值，使网络最终具有模式分类规则）自动调整权值，使网络最终具有模式分类等功能。再励学习是介于上述两者之间的一种学等功能。再励学习是介于上述两者之间的一种学习方式。习方式。22有教师学习有教师学习 n有教师学习，也称有监督学习，假设教师和神经有教师学习，也称有监督学习，假设教师和神经网络同时要对从周围环境中抽取出来的训练向量网络同时要对从周围环境中抽取出来的训练向量（即例子）做出判断，教师可以根据自身掌握的（即例子）做出判断，教师可以根据自身掌握的一些知识为神经网络提供期望响应。一些知识为神经网络提供期望响应。n期望响应一般都代表着神经网络完成的最优动作。期望响应一般都代表着神经网络完成的

18、最优动作。神经网络的参数可以在训练向量和误差信号的综神经网络的参数可以在训练向量和误差信号的综合影响下进行调整。误差信号可以定义为神经网合影响下进行调整。误差信号可以定义为神经网络实际响应与预期响应之差。这种调整可以逐步络实际响应与预期响应之差。这种调整可以逐步而又反复地进行，其最终目的就是要让神经网络而又反复地进行，其最终目的就是要让神经网络模拟教师信号。模拟教师信号。23有教师学习有教师学习24n利用这种手段，教师对环境掌握的知识就可以通利用这种手段，教师对环境掌握的知识就可以通过训练最大限度的传授给神经网络。当条件成熟过训练最大限度的传授给神经网络。当条件成熟时，就可以将教师信号排除在外

19、，让网络完全自时，就可以将教师信号排除在外，让网络完全自主地应对环境。主地应对环境。n可以采用训练样本的平方误差作为性能测试标准，可以采用训练样本的平方误差作为性能测试标准，它可以定义为系统的一个带自由参数的函数，该它可以定义为系统的一个带自由参数的函数，该函数可以看作一个多维误差函数可以看作一个多维误差-性能曲面，简称误性能曲面，简称误差曲面。差曲面。n后面将要讨论的后面将要讨论的Delta学习算法属于有教师学习。学习算法属于有教师学习。它是一种闭环反馈系统，但未知的环境不包含在它是一种闭环反馈系统，但未知的环境不包含在循环中。循环中。25n实际误差曲面是所有可能的输入输出的平均。有实际误差

20、曲面是所有可能的输入输出的平均。有教师学习系统能够处理有用信息，根据系统当前教师学习系统能够处理有用信息，根据系统当前的行为计算出误差曲面的梯度。误差曲面上任何的行为计算出误差曲面的梯度。误差曲面上任何一点的梯度指的是指向最速下降方向的向量。一点的梯度指的是指向最速下降方向的向量。n给定一个设计好的算法来使代价函数最小，而且给定一个设计好的算法来使代价函数最小，而且有足够的输入有足够的输入-输出数据集，那么有教师学习往往输出数据集，那么有教师学习往往可以很好地完成诸如模式分类、函数逼近等任务。可以很好地完成诸如模式分类、函数逼近等任务。26无教师学习无教师学习 n在无教师学习范例中，没有教师监

21、视学习在无教师学习范例中，没有教师监视学习过程，即神经网络没有任何例子可以学习。过程，即神经网络没有任何例子可以学习。无教师学习又可分为两类：无教师学习又可分为两类：自组织学习自组织学习无监督竞争学习无监督竞争学习 27无教师学习无教师学习28(1)自组织学习自组织学习n即网络的学习过程完全是一种自我学习的过程，即网络的学习过程完全是一种自我学习的过程，不存在外部教师的示教，也不存在来自外部环境不存在外部教师的示教，也不存在来自外部环境的反馈指示网络应该输出什么或者是否正确。的反馈指示网络应该输出什么或者是否正确。n自组织学习过程中，网络根据某种规则反复地调自组织学习过程中，网络根据某种规则反

22、复地调整连接权以响应输入模式的激励，直到网络最后整连接权以响应输入模式的激励，直到网络最后形成某种有序状态。也就是说，自组织学习是靠形成某种有序状态。也就是说，自组织学习是靠神经元本身对输入模式的不断适应，抽取输入信神经元本身对输入模式的不断适应，抽取输入信号的规律号的规律(如统计规律如统计规律)。一旦网络显现出输入数。一旦网络显现出输入数据的统计特征，则网络就实现了对输入特征的编据的统计特征，则网络就实现了对输入特征的编码，即把输入特征码，即把输入特征“记忆记忆”下来。而且在记忆之下来。而且在记忆之后，当它再出现时，能把它识别出来。后，当它再出现时，能把它识别出来。29 自组织学习能对网络的

23、学习过程进行度量，自组织学习能对网络的学习过程进行度量，并优化其中的自由参数。可以认为，这种学习的并优化其中的自由参数。可以认为，这种学习的评价准则隐含于网络内部。神经网络的这种自组评价准则隐含于网络内部。神经网络的这种自组织特性来源于其结构的可塑性。织特性来源于其结构的可塑性。(1)自组织学习自组织学习30(2)无监督竞争学习无监督竞争学习n在无监督竞争学习系统中，没有外部的教师或则在无监督竞争学习系统中，没有外部的教师或则评价来监督学习的过程。要求网络学习该度量而评价来监督学习的过程。要求网络学习该度量而且自由参数将根据这个度量来逐步优化。且自由参数将根据这个度量来逐步优化。n为了完成无监

24、督竞争学习规则，神经网络包括两为了完成无监督竞争学习规则，神经网络包括两层：输入层和竞争层。输入层接受有用的数据。层：输入层和竞争层。输入层接受有用的数据。竞争层由相互竞争的神经元组成，采用竞争层由相互竞争的神经元组成，采用“胜者全胜者全得得”的策略，具有最大总输入的神经元的输出置的策略，具有最大总输入的神经元的输出置1，赢得竞争而被激活，其它神经元置，赢得竞争而被激活，其它神经元置0，连接权的，连接权的调整仅在获胜神经元与输入之间进行，其他皆不调整仅在获胜神经元与输入之间进行，其他皆不变。变。31再励学习再励学习 n把学习看作试探评价（奖或惩）过程，学把学习看作试探评价（奖或惩）过程，学习机

25、选择一个动作（输出）作用于环境之习机选择一个动作（输出）作用于环境之后，使环境的状态改变，并产生一个再励后，使环境的状态改变，并产生一个再励信号（奖或惩）反馈至学习机。学习机依信号（奖或惩）反馈至学习机。学习机依据再励信号与环境当前的状态选择下一动据再励信号与环境当前的状态选择下一动作作用于环境，选择的原则是使受到奖励作作用于环境，选择的原则是使受到奖励的可能性增大。的可能性增大。32常用学习规则常用学习规则nHebb规则规则nDelta规则（最小均方差规则）规则（最小均方差规则）n概率式学习规则概率式学习规则n竞争式学习规则竞争式学习规则n梯度下降规则梯度下降规则nKohonen(克豪南克豪

26、南)学习规则学习规则n逆误差传播规则逆误差传播规则33(1)Hebb学习规则学习规则nHebb学习规则是一种联想式学习方法学习规则是一种联想式学习方法n1949年年生物学家生物学家D.O.Hebbian基于对生物学和心理基于对生物学和心理学的研究，提出了学习行为的突触联系和神经群理学的研究，提出了学习行为的突触联系和神经群理论。认为突触前与突触后二者同时兴奋，即两个神论。认为突触前与突触后二者同时兴奋，即两个神经元同时处于激发状态时，它们之间的连接强度将经元同时处于激发状态时，它们之间的连接强度将得到加强，这一论述的数学描述被称为得到加强，这一论述的数学描述被称为Hebb学习规学习规则则nHe

27、bb学习规则是一种无教师的学习算法，它只根据学习规则是一种无教师的学习算法，它只根据神经元连接间的激活水平改变权值，因此这种方法神经元连接间的激活水平改变权值，因此这种方法又称为相关学习或并联学习又称为相关学习或并联学习34Hebb学习规则学习规则权向量的调整公式为权向量的调整公式为权值的调整量与输入输出的乘积成正比。经常出现权值的调整量与输入输出的乘积成正比。经常出现的模式对权向量有最大的影响。为此，的模式对权向量有最大的影响。为此，Hebb学习规学习规则需预先设定权饱和值，以防止输入和输出正负始则需预先设定权饱和值，以防止输入和输出正负始终一致时出现权值无限制增长。终一致时出现权值无限制增

28、长。学习信号简单的等于神经元的输出学习信号简单的等于神经元的输出35Hebb学习过程框图学习过程框图36(2)Delta规则（最小均方差规则）规则（最小均方差规则）n由美国由美国Standford大学的大学的Windrow教授于教授于60年代提年代提出出n常用的规则之一常用的规则之一n改变单元间的连接权重来减小系统实际输出与期改变单元间的连接权重来减小系统实际输出与期望输出之间的误差，也称为最小方差规则望输出之间的误差，也称为最小方差规则n适用于自适应信号处理、非线性系统控制、线性适用于自适应信号处理、非线性系统控制、线性系统辨识等系统辨识等37其中，其中，dp代表期望的输出代表期望的输出(教

29、师信号教师信号)yp=f(WXp)网络的实际输出网络的实际输出 W是网络的所有权值组成的向量：是网络的所有权值组成的向量：假设误差准则函数为：假设误差准则函数为：Xp为输入模式：为输入模式：训练样本数训练样本数38现在的问题是如何调整权值现在的问题是如何调整权值W，使准则函数最小。，使准则函数最小。可用梯度下降法来求解，其基本思想是沿着可用梯度下降法来求解，其基本思想是沿着E的负梯的负梯度方向不断修正度方向不断修正W值，直到值，直到E达到最小，这种方法的达到最小，这种方法的数学表达式为数学表达式为其中其中39用用 表示表示 ,则有则有W的修正规则为的修正规则为上式称为上式称为 学习规则，又称误

30、差修正规则。学习规则，又称误差修正规则。40定义误差传播函数定义误差传播函数 为为 规则实现了规则实现了E中的梯度下降，因此使误差函数达到中的梯度下降，因此使误差函数达到最小值。但最小值。但 学习规则只适用于线性可分函数，无法学习规则只适用于线性可分函数，无法用于多层网络。用于多层网络。误差反向传播误差反向传播(Back Propagation,简简写为写为BP)网络的学习算法称为网络的学习算法称为BP算法，是在算法，是在 规则规则基础上发展起来的，可在多层网络上有效地学习。基础上发展起来的，可在多层网络上有效地学习。41n概率式学习的典型代表是概率式学习的典型代表是Boltzmann机学习规

31、则。机学习规则。它是基于模拟退火的统计优化方法，因此又称模它是基于模拟退火的统计优化方法，因此又称模拟退火算法拟退火算法nBoltzmann机模型是一个包括输入、输出和隐层的机模型是一个包括输入、输出和隐层的多层网络，但隐层间存在互联结构且网络层次不多层网络，但隐层间存在互联结构且网络层次不明显明显n由于模拟退火过程要求高温使系统达到平衡状态，由于模拟退火过程要求高温使系统达到平衡状态，而冷却（即退火）过程又必须缓慢地进行，否则而冷却（即退火）过程又必须缓慢地进行，否则容易造成局部最小，所以这种学习规律的算法收容易造成局部最小，所以这种学习规律的算法收敛速度较慢。敛速度较慢。(3)概率式学习规

32、则概率式学习规则42 Boltzmann机的训练过程，就是根据规则：机的训练过程，就是根据规则：对神经元对神经元i，j 间的连接权值进行调整的过程。间的连接权值进行调整的过程。式中，式中，为学习速率为学习速率 pij 表示网络受到学习样本的约束且系统达到表示网络受到学习样本的约束且系统达到 平衡状态时第平衡状态时第i个和第个和第j个神经元同时为个神经元同时为1的的 概率概率 表示系统为自由运转状态且达到平衡状态表示系统为自由运转状态且达到平衡状态 时第时第i个和第个和第j个神经元同时为个神经元同时为1的概率的概率43调整权值的原则是：当调整权值的原则是：当 时，则权值增加，否则时，则权值增加，

33、否则减少权值。这种权值调整公式称为减少权值。这种权值调整公式称为Boltzmann机学机学习规则，即习规则，即 当当 小于一定值时，学习结束。小于一定值时，学习结束。44n竞争学习属于无教师学习方式。这种学习方式竞争学习属于无教师学习方式。这种学习方式利用不同层间的神经元发生兴奋性联接，以及利用不同层间的神经元发生兴奋性联接，以及同一层内距离很近的神经元间发生同样的兴奋同一层内距离很近的神经元间发生同样的兴奋性联接，而距离较远的神经元产生抑制性联接。性联接，而距离较远的神经元产生抑制性联接。n在这种联接机制中引入竞争机制的学习方式称在这种联接机制中引入竞争机制的学习方式称为竞争式学习。它的本质

34、在于神经网络中高层为竞争式学习。它的本质在于神经网络中高层次的神经元对低层次神经元的输入模式进行竞次的神经元对低层次神经元的输入模式进行竞争识别。争识别。(4)竞争式学习规则竞争式学习规则45n竞争式学习的思想来源于人脑的自组织能力。竞争式学习的思想来源于人脑的自组织能力。大脑能够及时地调整自身结构，自动地向环境大脑能够及时地调整自身结构，自动地向环境学习，完成所需执行的功能而并不需要教师训学习，完成所需执行的功能而并不需要教师训练。竞争式神经网络亦是如此，所以又把这一练。竞争式神经网络亦是如此，所以又把这一类神经网络称为自组织神经网络。类神经网络称为自组织神经网络。(4)竞争式学习规则竞争式

35、学习规则46 自组织神经网络要求识别与输入最匹配的节点，定自组织神经网络要求识别与输入最匹配的节点，定义距离为接近距离测度，即义距离为接近距离测度，即其中，其中，u为为N维输入向量，具有最短距离的节点选维输入向量，具有最短距离的节点选作胜者，它的权向量经修正使该节点对输入作胜者，它的权向量经修正使该节点对输入u更敏更敏感。感。47定义定义Nc，其半径逐渐减少至接近于零，权值学习规，其半径逐渐减少至接近于零，权值学习规则为则为在这类学习规则中，关键不在于实节点的输出怎样在这类学习规则中，关键不在于实节点的输出怎样与外部的期望输出相一致，而在于调整权向量以反与外部的期望输出相一致，而在于调整权向量

36、以反映观察事件的分布，提供基于检测特性空间的活动映观察事件的分布，提供基于检测特性空间的活动规律的性能描写。规律的性能描写。48(5)梯度下降规则梯度下降规则nDelta规则是梯度下降规则的一个例子规则是梯度下降规则的一个例子n学习过程中保持误差曲线梯度下降学习过程中保持误差曲线梯度下降n可能出现局部最小，应尽量避免可能出现局部最小，应尽量避免49(6)其他学习算法其他学习算法nKohonen(克豪南学习规则克豪南学习规则)各单元之间竞争，只有胜者有输出，并调整胜各单元之间竞争，只有胜者有输出，并调整胜者与其相邻的单元的权重者与其相邻的单元的权重属于无教师学习属于无教师学习n逆误差传播规则逆误

37、差传播规则常用常用BP算法采用的学习方法算法采用的学习方法50学习规则小结学习规则小结 从上述几种学习规则不难看出，要使人工神经从上述几种学习规则不难看出，要使人工神经网络具有学习能力，就是使神经网络的知识结构变网络具有学习能力，就是使神经网络的知识结构变化，也就是说，使神经元间的结合模式变化，这同化，也就是说，使神经元间的结合模式变化，这同把连接权向量用什么方法变化是等价的。因此，所把连接权向量用什么方法变化是等价的。因此，所谓神经网络的学习，目前主要是指通过一定的学习谓神经网络的学习，目前主要是指通过一定的学习算法实现对突触结合强度（权值）的调整，使其达算法实现对突触结合强度（权值）的调整，使其达到具有记忆、识别、分类、信息处理和问题优化求到具有记忆、识别、分类、信息处理和问题优化求解等功能，这是一个正在发展中的研究课题。解等功能，这是一个正在发展中的研究课题。返回返回512.6 小小结n生物神经元的信息处理生物神经元的信息处理n人工神经元模型人工神经元模型n人工神经网络模型人工神经网络模型n人工神经网络学习人工神经网络学习返回返回52