神经网络及应用第二章人工神经网络基础(精品).ppt

《神经网络及应用第二章人工神经网络基础(精品).ppt》由会员分享，可在线阅读，更多相关《神经网络及应用第二章人工神经网络基础(精品).ppt（47页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、第第2章人工神经网络基础章人工神经网络基础 l生物神经网络基础l人工神经元模型l人工神经网络模型l神经网络学习2.1 生物神经网络基础生物神经网络基础l2.1.1 生物神经元的结构生物神经元的结构2.1 生物神经网络基础生物神经网络基础l神经元在结构上细胞体、树突、轴突和突触神经元在结构上细胞体、树突、轴突和突触4部分组成部分组成1）细胞体（）细胞体（Cell body）神经元的主体由细胞核、细胞质和细胞膜3部分构成细胞膜对细胞液中的不同离子具有不同的通透性，使得膜内外存在离子浓度差，从而出现内负外正的静息电位2.1 生物神经网络基础生物神经网络基础2）树突（）树突（Dendrite）从细胞体

2、向外延伸出许多突起的神经纤维，其中大部分突起较短，其分支多群集在细胞体附近形成灌木丛状，这些突起称为树突神经元靠树突接受来自其他神经元的输入信号，相当于细胞体的输入端3）轴突（）轴突（Axon）由细胞体伸出的最长的一条突起，细而长用来传出细胞体产生的输出电化学信号，相当于细胞体的输出端2.1 生物神经网络基础生物神经网络基础4）突触（）突触（Synapse）神经元之间通过一个神经元的轴突末梢和其他神经元的细胞体或树突进行通信连接，这种连接相当于神经元之间的输入/输出接口，称为突触每个神经元大约有103105个突触，多个神经元以突触连接即形成神经网络2.1 生物神经网络基础生物神经网络基础l2.

3、1.2 生物神经元的信息处理机理生物神经元的信息处理机理1）信息产生）信息产生神经元的三种状态：无信号输入时：l电位差：-70mV 静息电位l细胞膜状态 极化状态（Polarization）l神经元状态 静息状态静息状态静息电位向正偏移l细胞膜状态 去极化（Depolarization）l神经元状态 兴奋状态兴奋状态2.1 生物神经网络基础生物神经网络基础静息电位向负偏移l细胞膜状态 超极化（Hyperpolarization）l神经元状态 抑制状态抑制状态神经脉冲的产生过程l膜电位超过阈值电位（-55mV），神经细胞 活性细胞l细胞的兴奋过程：膜电位自发地急速升高，在1ms内比静息膜电位上升

4、100mV左右，此后膜电位又急速下降，回到静止的值，产生一个宽度为1ms，振幅为100mV的电脉冲，又称神经冲动l之后慢慢下降到-55mV，这段时间约为数毫秒，称为不应期2.1 生物神经网络基础生物神经网络基础2）信息的传递与接收）信息的传递与接收神经脉冲信号沿轴突传向其末端的各个分支从脉冲信号到达突触前膜到突触后膜电位发生变化，有0.2ms1ms的时间延迟，称为突触延迟神经元间的突触联系大部分是在出生后由于给予刺激而成长起来的，正是由于各神经元之间的突触连接强度和极性有所不同并可进行调整，由此人脑才具有学习和存储信息的功能 2.1 生物神经网络基础生物神经网络基础3）信息整合）信息整合单个神

5、经元可以与上千个或更多其他的神经元轴突末梢形成突触连接，接受从各个轴突传来的脉冲输入这些输入可到达神经元的不同部位，输入部位不同，对神经元影响的权重也不同在同一时刻产生的刺激所引发的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和 空间整合空间整合各输入脉冲抵达神经元的先后时间也不一样，由一个脉冲引起的突触厚膜电位很小，但在其持续时间内有另一脉冲相继到达时，总的突触后膜电位增大 时间整合时间整合2.1 生物神经网络基础生物神经网络基础l一个神经元接受的信息，在时间和空间上常呈现出一种复杂多变的形式，需要神经元对它们进行积累和整合加工，从而决定其输出的时机和强度。正是神经元这种整合作用，才

6、使得亿万个神经元在神经系统中有条不紊、夜以继日地处理各种复杂的信息，执行着生物中枢神经系统的各种信息处理功能2.2 人工神经元模型人工神经元模型l2.2.1 神经元的建模神经元的建模人工神经网络中，神经元常被称为“处理单元”或“节点”。1943年心理学家McCulloch和数学家 W.Pitts的M-P模型的6个假定：1）每个神经元都是一个多输入单输出的信息处理单元；2）神经元输入分兴奋性输入和抑制性输入两种类型；3）神经元具有空间整合特性和阈值特性；4）神经元输入与输出间有固定的时滞，主要取决于突触延迟；5）忽略时间整合作用和不应期；6）神经元本身是非时变的，即其突触时延和突触强度均为常数。

7、2.2 人工神经元模型人工神经元模型x1xixnoj神经元模型示意图w1jwijwnjf2.2 人工神经元模型人工神经元模型l许多输入信号（xi）同时输入神经元j。l对每个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。l组合输入信号的“总和值”，相应于生物神经元的膜电位。l神经元激活与否取决于某一阈值电平，即只有当其输入综合超过阈值时，神经元才被激活并发放脉冲，否则神经元不会产生输入信号。loj表示神经元输出，而输出与输入之间的关系由函数 f 表示。2.2 人工神经元模型人工神经元模型l2.2.2 神经元的数学模型神经元的数

8、学模型令xi(t)表示t时刻的神经元j接受的来自神经元的输入信息，oj(t)表示t时刻神经元j的输出信息，则神经元j的状态可以表示为2.2 人工神经元模型人工神经元模型 简单起见，将突触时延取为单位时间 “输入总和”常称为神经元在 t 时刻的净输入，用下式表示 表现了神经元j的空间整合特性而未考虑时间整合 当 时，神经元才能被激活。oj(t+1)与xi(t)之间的单位时差代表所有的神经元具有相同的、恒定的工作节奏。2.2 人工神经元模型人工神经元模型将时间t省略，我们得到2.2 人工神经元模型人工神经元模型l2.2.3 神经元的变换函数神经元的变换函数 执行对该神经元所获得的网络输入的变换，也

9、可以称为激活函数、激励函数、活化函数 常用的变换函数：1）阈值型变换函数单极性阈值型变换函数f(x)01.0 x2.2 人工神经元模型人工神经元模型双极性阈值型变换函数2）非线性变换函数实数域R到0,1闭集的非减连续函数最常用的非线性变换函数是sigmoid函数，简称S型函数，其特点是函数本身及其导数都是连续的xf(x)01.0-1.02.2 人工神经元模型人工神经元模型单极性S型变换函数双极性S型变换函数f(x)01.0 x0.5f(x)01.0 x-1.02.2 人工神经元模型人工神经元模型3)分段线性变换函数 单极性分段性线性变换函数 双极性分段性线性变换函数f(x)01.0 xxcf(

10、x)-1.01.0 xxc02.2 人工神经元模型人工神经元模型4）概率型变换函数输入输出关系是不确定的，用一个随机函数来描述其输出为1或者0的概率设神经元输出为1的概率为该变换函数输出状态与热力学中的波尔兹曼（Boltzmann）分布类似，因此也称为热力学模型2.3 人工神经网络模型人工神经网络模型l2.3.1 网络拓扑结构类型网络拓扑结构类型1）层次型结构a）单纯型层次网络结构b）输出层到输入层有连接的层次网络结构c）层内有互联的层次网络结构2.3 人工神经网络模型人工神经网络模型2）互联型结构a）全互联型每个节点均与所有其他节点相连b）局部互联型每个节点只与其临近的节点有连接c）稀疏连接

11、型网络中的节点只与少数相距较远的节点相连2.3 人工神经网络模型人工神经网络模型l2.3.2 网络信息流向类型网络信息流向类型1）前馈型网络 输入层 隐层 隐层 输出层2）反馈型网络2.4 神经网络学习神经网络学习l2.4.1 网络学习算法的一些基本概念网络学习算法的一些基本概念l人工神经网络的功能特性由功能特性由其连接的拓扑结构和连接权值决定l神经网络能够通过对样本的学习训练，不断改变网络的链接权值以及拓扑结构，以使网络的输出不断地接近期望的输出这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整l改变权值的规则称为学习规则或学习算法，亦称训练规则或训练算法2.4 神经网络学习神经网

12、络学习l神经网络的学习算法分为神经网络的学习算法分为1）有导师学习）有导师学习也称为有监督学习，采用纠错规则在学习训练过程中需要不断地给网络成对提供一个输入模式和一个期望网络正确输出的模式，称为“教师信号”将神经网络的实际输出同期望输出进行比较，根据差错的方向和大小按一定的规则调整权值当网络可以对各种给定输入均能产生所期望的输出时，结束训练2.4 神经网络学习神经网络学习2）无导师学习）无导师学习也称无监督学习不断地给网络提供动态输入信息，网络根据其特有内部结构和学习规则调整权值，在输入信息中发现可能存在的模式和规律，通过这种自组织过程，实现自动分类有时神经网络所解决问题的先验信息很少，甚至没

13、有，这种情况下无导师学习就显得更有实际意义2.4 神经网络学习神经网络学习l1990年，日本著名神经网络学家Amari提出了一种神经网络权值调整的通用学习规则：学习信号生成器学习信号教师信号权向量Wj在t时刻的调整量Wj(t)与t时刻的输入向量X(t)和学习信号r的乘积成正比2.4 神经网络学习神经网络学习用数学式表达为为正数，称为学习常数，决定了学习速率。基于离散时间调整时，不同的学习规则对r(Wj,X,dj)有不同的定义，从而形成各种各样的神经网络。2.4 神经网络学习神经网络学习l2.4.2 Hebb学习规则学习规则基于“等神经元i与神经元j同时处于兴奋状态时，两者的连接强度应增加”。学

14、习信号简单地等于神经元的输出：权向量调整公式为：分量的调整：2.4 神经网络学习神经网络学习Hebb学习规则需要预先设置权饱和值，以防止输入和输出正负始终一致时出现权值无约束增长权值初始化：对Wj(0)赋予零附近的小随机数Hebb学习规则是一种纯前馈纯前馈、无导师无导师学习该规则至今仍在各种神经网络模型中起着重要作用2.4 神经网络学习神经网络学习l例题例题 2.1 设有4输入单输出神经元网络，其阈值T=0，学习率=1，3个输入样本向量和初始权向量分别为X1=(1,-2,1.5,0)T，X2=(1,-0.5,-2,-1.5)T，X3=(0,1,-1,1.5)T，W(0)=(1,-1,0,0.5

15、)T。解解：设变换函数为双极性离散函数 f(net)=sgn(net)，权值调整步骤为：(1)输入第一个样本X1，计算净输入net1，并调整权向量W(1)net1=W(0)T X1=(1,-1,0,0.5)(1,-2,1.5,0)T=3 W(1)=W(0)+sgn(net1)X1=(1,-1,0,0.5)T+(1,-2,1.5,0)T =(2,-3,1.5,0.5)T2.4 神经网络学习神经网络学习(2)输入第二个样本X2，计算净输入net2，并调整权向量W(2)net2=W(1)T X2=(2,-3,1.5,0.5)(1,-0.5,-2,-1.5)T=-0.25 W(2)=W(1)+sgn(

16、net2)X2=(2,-3,1.5,0.5)T-(1,-0.5,-2,-1.5)T =(1,-2.5,3.5,2)T(2)输入第三个样本X3，计算净输入net3，并调整权向量W(3)net3=W(2)T X3=(1,-2.5,3.5,2)(0,1,-1,1.5)T=-3 W(3)=W(2)+sgn(net3)X3=(1,-2.5,3.5,2)T-(0,1,-1,1.5)T =(1,-3.5,4.5,0.5)T可以看出，当变换函数为符号函数且=1时，Hebb学习规则的权值调整将简化为权向量加或减输入向量2.4 神经网络学习神经网络学习当变换函数为双极性连续函数 ，权值调整步骤如上(1)(2)2.

17、4 神经网络学习神经网络学习(3)比较两种权值调整结果可以看出，两种变换函数下的权值调整方向是一致的，但采用连续变换函数时，权值调整力度减弱。2.4 神经网络学习神经网络学习l2.5.3 离散感知器学习规则离散感知器学习规则1958年，美国学者 Frank Rosenblatt 首次定义了一个具有单层计算单元的神经网络结构，称为感知器（Perceptron）学习信号等于神经元期望输出（教师信号）与实际输出之差 感知器采用了符号变换函数 2.4 神经网络学习神经网络学习权值调整公式为分量的调整只适用于二进制神经元初始权值可取任意值是一种有导师学习该规则对于神经网络的有导师学习具有极有重要的意义2

18、.4 神经网络学习神经网络学习l2.5.4 连续感知器学习规则（连续感知器学习规则（规则）1986年，认知心理学家 Mclelland 和 Rumelhart 在神经网络训练引入了规则，亦称为连续感知器学习规则学习信号权值调整公式为分量的调整2.4 神经网络学习神经网络学习推导:定义神经元输出和期望输出之间的平方误差为欲使误差E最小，Wj 应与误差的负梯度成正比可得权值调整计算式学习规则可推广到多层前馈网络中权值可初始化为任意值2.4 神经网络学习神经网络学习l2.5.5 最小均方学习规则（最小均方学习规则（Widrow-Hoff 规则）规则）1962年，Bernard Widrow 和 Ma

19、rcian Hoff 提出了Widrow-Hoff学习规则，又称最小均方学习规则（LMS）。学习规则为权值调整公式为分量的调整2.4 神经网络学习神经网络学习如果在学习规则中假定神经元变换函数为则有 ，因此LMS学习规则可以看成是学习规则的一个特殊情况。该学习规则与神经元采用的变换函数无关学习速度较快且有较高的精度权值可初始化为任意值2.4 神经网络学习神经网络学习l2.5.6 相关学习规则相关学习规则学习信号权值调整公式为分量的调整要求权值初始化为零2.4 神经网络学习神经网络学习l2.5.7 胜者为王学习规则（胜者为王学习规则（Winner-Take-All）是一种竞争学习规则，用于无导师

20、学习将网络的某一层确定为竞争层，对于一个特定的输入X，竞争层的所有p个神经元均有输出相应，其中响应值最大的神经元j*为在竞争中获胜的神经元，即只有获胜神经元才有权调整其权向量Wj*，调整量为2.4 神经网络学习神经网络学习由于两个向量的点积越大，表明两者越近似，所以调整结果是使Wj*进一步接近当前输入X，这样，下次出现与X相像的输入模式时，上次获胜的神经元更容易获胜，从而竞争层各神经元所对应的权向量被逐渐调整为输入样本空间的聚类中心。有时以获胜神经元为中心定义一个获胜邻域，除获胜神经元调整权之外，邻域内的其他神经元也程度不同地调整权值。权值一般初始化为任意值并进行归一化处理。2.4 神经网络学

21、习神经网络学习常用学习规则一览表2.4 神经网络学习神经网络学习本章小结本章小结l神经元的数学模型神经元的数学模型6点假设、模型示意图、解析表达式、变换函数l神经网络的连接方式神经网络的连接方式前馈层次型、输入输出有反馈的前馈层次型前馈层内互连型、反馈全互连型、反馈局部互连型等l神经网络的学习方式神经网络的学习方式几种常用的学习规则2.4 神经网络学习神经网络学习课后练习题课后练习题l某神经网络的变换函数为符号函数，学习率=1，初始权向量W(0)=(1,0,1)T，两对输入样本为X1=(2,1,-1)T，d1=-1；X2=(0,-1,-1)T，d2=1。试用离散感知器学习规则对以上样本进行反复训练，直到网络输出误差为零，写出每一训练步的净输入net(t).l某神经网络采用双极性Sigmoid函数，其阈值T=0，学习率=0.25，初始权向量W(0)=(1,0,1)T,两对输入样本为X1=(2,0,-1)T，d1=-1；X2=(1,-2,-1)T，d2=1。分别试用学习规则和Widrow-Hoff 规则进行训练，并写出前两步训练结果。