医学专题一人工神经网络.ppt

《医学专题一人工神经网络.ppt》由会员分享，可在线阅读，更多相关《医学专题一人工神经网络.ppt（87页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、1第第3讲讲 人工神经网络人工神经网络 欧阳(u yng)柳波 第一页，共八十七页。2/65人工神经网络的进展(jnzhn)l初创阶段（二十世纪四十年代至六十年代）:l1943年，美国心理学家W.S.Mcculloch和数理逻辑学家 和数理逻辑学家W.Pitts 提出了神经元的数学模型，即MP（Mcculloch-Pitts）模型l以数学逻辑为研究手段，探讨了客观(kgun)事件在神经网络的形式问题l1960年，威德罗和霍夫率先把神经网络用于自动控制研究。l过渡阶段（二十世纪六十年代初至七十年代）lM.Minsky和S.Papert于1969 年出版Perceptron Perceptronl

2、从理论上证明了以单层感知机为代表的网络系统在某些能力方面的局限性。l 60年代末期至 80年代中期，神经网络控制与神经网络进入低潮第二页，共八十七页。3/65人工神经网络的进展(jnzhn)(续)l高潮阶段（二十世纪八十年代）l1982和1984年，美国加州理工学院的生物物理学J.J.Hopfield在美国科学院院刊发表的两 篇文章，有力地推动了人工神经网络的研究与应用，并引发了研究神经网络的一次热潮。l80年代后期以来，随着人工神经网络研究的复苏和发展，对神经网络控制(kngzh)的研究也十分活跃。研究进展主要在神经网络自适应控制(kngzh)和模糊神经网络控制(kngzh)及其在机器人控制

3、(kngzh)中的应用上。l平稳发展阶段（二十世纪九十年代以后）l和相关学科交叉融合第三页，共八十七页。4/65 ANN 人工神经网络人工神经网络l概述(i sh)l基本原理l前向型神经网络l自组织竞争神经网络l神经网络的应用l与人工智能原理的结合lBP神经网络第四页，共八十七页。5/65概述概述(i sh)l什么叫人工神经网络l采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。l为什么要研究神经网络l用计算机代替人的脑力劳动。l计算机速度为纳秒级，人脑细胞反应时间是毫秒级。而计算机不如人。l长期以来人类的梦想，机器既能超越人的计算能力，又有类似(li s)于人的识别、分析、联想等能力

4、。第五页，共八十七页。6/65概述概述(i sh)l人工智能与神经网络l共同之处：研究怎样使用计算机来模仿人脑工作过程，学习实践再学习再实践。l不同之处：l人工智能研究人脑的推理、学习、思考、规划等思维活动，解决(jiju)需人类专家才能处理的复杂问题。l神经网络企图阐明人脑结构及其功能，以及一些相关学习、联想记忆的基本规则（联想、概括、并行搜索、学习和灵活性）第六页，共八十七页。7/65l例如：l人工智能专家系统是制造一个专家，几十年难以培养的专家。神经网络是制造一个婴儿，一个幼儿，一个可以学习，不断完善，从一些(yxi)自然知识中汲取智慧的生命成长过程。l同样是模仿人脑，但所考虑的角度不同

5、。l成年人和婴儿l学习过程不一样第七页，共八十七页。8/65概述概述(i sh)第八页，共八十七页。9/65 ANN 人工神经网络人工神经网络l概述l基本原理l前向型神经网络l自组织竞争神经网络l神经网络的应用l与人工智能(rn n zh nn)原理的结合lBP神经网络第九页，共八十七页。1065基本原理基本原理第十页，共八十七页。1165第十一页，共八十七页。1265第十二页，共八十七页。1365生物生物(shngw)神经元神经元第十三页，共八十七页。l神神经元由元由细细胞体、胞体、胞体、胞体、树树突突突突和和轴轴突突突突组成。成。细胞体是神胞体是神经元的主体元的主体,它由它由细胞核、胞核、

6、细胞胞质和和细胞膜三部分构成胞膜三部分构成.从从细胞体向外延伸出胞体向外延伸出许多突起多突起,其中大部分突起其中大部分突起呈呈树状状,称称为树突突.树突起感受作用突起感受作用,接受来自其他神接受来自其他神经元的元的传递信号信号.l由由细胞体伸出的一条最胞体伸出的一条最长的突起的突起,用来用来传出出细胞体胞体产生生(chnshng)(chnshng)的的输出出信号信号,称之称之为轴突突;轴突末端形成突末端形成许多多细的分枝的分枝,叫做叫做神神经末梢末梢;每一条神每一条神经末末梢可以与其他神梢可以与其他神经元形成功能性接触元形成功能性接触,该接触部位称接触部位称为突触突触。所。所谓功能性接功能性接

7、触触是指非永久性接触是指非永久性接触,它是神它是神经元之元之间信息信息传递的奥秘之的奥秘之处。1465第十四页，共八十七页。l一个神一个神经元把来自不同元把来自不同树突的突的兴奋性或抑制性性或抑制性输入信号入信号(突触后突触后膜膜电位位)累加求和累加求和的的过程，称程，称为整合。考整合。考虑(kol)(kol)到到输入信号的影响入信号的影响要持要持续一段一段时间(毫秒毫秒级),),因此因此,神神经元的整合功能是一种元的整合功能是一种时空整合。空整合。当神当神经元的元的时空整合空整合产生的膜生的膜电位超位超过阈值电位位时,神神经元元处于于兴奋状状态,产生生兴奋性性电脉冲脉冲,并并经轴突突输出出;

8、否否则,无无电脉冲脉冲产生生,处于于抑制状抑制状态。1565第十五页，共八十七页。1665图图2 一种一种(y zhn)简化神经元结构简化神经元结构 第十六页，共八十七页。1765人工人工(rngng)神经元模型神经元模型l每一个细胞处于两种状态。l突触联接有强度。l多输入单输出。l实质上传播的是脉冲信号，信号的强弱(qin ru)与脉冲频率成正比。图3 人工(rngng)神经元的结构模型第十七页，共八十七页。l一般(ybn)地,人工神经元的结构模型如图3所示。l它是一个多输入单输出的非线性阈值器件。其中 x1，x2，xn表示神经元的n个输入信号量；l w1，w2，wn表示对应输入的权值,它表

9、示各信号源神经元与该神经元的连接强度；l U表示神经元的输入总和,它相应于生物神经细胞的膜电位,称为激活函数;y为神经元的输出;表示神经元的阈值。1865第十八页，共八十七页。1965于是于是(ysh)，人工神经元的输入输出关系可描述为：，人工神经元的输入输出关系可描述为：函函数数y=f(U)称称为为特特性性函函数数(亦亦称称作作用用、传传递递、激激活活(j(j hu)hu)、活活化化、转移函数转移函数)。特性函数可以看作是神经元的数学模型。特性函数可以看作是神经元的数学模型。第十九页，共八十七页。2065 1.阈值阈值(y zh)型型 2.S型型 这类函数这类函数(hnsh)的输入输出特性多

10、采用指数、对数的输入输出特性多采用指数、对数或双曲正切等或双曲正切等S型函数型函数(hnsh)表示。例如表示。例如 S型特性型特性(txng)函数反映了神经元的非线性输出特性函数反映了神经元的非线性输出特性(txng)。常见的特性函数有以下几种常见的特性函数有以下几种:第二十页，共八十七页。2165 3.3.分段线性型分段线性型神经元的输入输出特性满足一定神经元的输入输出特性满足一定(ydng)(ydng)的区间线性关系的区间线性关系,其特性函数表达为其特性函数表达为 式中，式中，K、Ak均表示均表示(biosh)常量。常量。第二十一页，共八十七页。2265人工人工(rngng)神经元模型神经

11、元模型l以上三种特性(txng)函数的图像依次如下图中的(a)、(b)、(c)所示l神经细胞的输出对输入的反映。l典型的特性函数是非线性的。第二十二页，共八十七页。2365基本原理基本原理网络结构网络结构l人脑神经网络：l人脑中约有亿个神经细胞l根据Stubbz的估计这些细胞被安排在约个主要模块内，每个模块上有上百个神经网络，每个网络约有万个神经细胞。l 如果将多个神经元按某种的拓扑结构(jigu)连接起来，就构成了神经网络。根根据据连接接的的拓拓扑扑结构构不不同同，神神经网网络可可分分为四四大大类：分分分分层层前前前前向向向向网网网网络络、反反馈前前向向网网络、互互连前前向向网网络、广广泛泛

12、互互连网网络。第二十三页，共八十七页。2465基本原理基本原理网络网络(wnglu)模型模型l分分层前向网前向网络：每层只与前层相联接 网络由若干层神经元组成，一般有输入层、中间层（又称隐层，可有一层或多层）和输出层，各层顺序连接；且信息严格地按照从输入层进，经过中间层，从输出层出的方向(fngxing)流动。第二十四页，共八十七页。2565基本原理基本原理网络网络(wnglu)模型模型l反反馈前向网前向网络：输出层上存在一个反馈回路，将信号反馈到输入(shr)层。而网络本身还是前向型的。反馈的结果形成封闭环路，具有反馈的单元称为隐单元，其输出称为内部输出。第二十五页，共八十七页。2665基本

13、原理基本原理网络网络(wnglu)模型模型l互互连前向网前向网络：外部看还是一个前向网络，内部有很多自组织网络在层内互连着。同一层内单元的相互连接使它们之间有彼此牵制(qinzh)作用。第二十六页，共八十七页。2765基本原理基本原理网络网络(wnglu)模型模型l广泛互广泛互连网网络(wnglu)(wnglu)：所有计算单元之间都有连接，即网络中任意两个神经元之间都可以或可能是可达的。如：Hopfield网络、波尔茨曼机模型l反反馈型局部型局部连接网接网络：特例，每个神经元的输出只与其周围的神经元相连，形成反馈网络。第二十七页，共八十七页。2865基本原理基本原理 网络网络(wnglu)分类

14、分类l分类l前向型（前馈型）；l反馈型；l自组织竞争(jngzhng)；l随机网络l其它第二十八页，共八十七页。具体来讲，神经网络至少可以实现如下功能：l数学上的映射(yngsh)逼近。通过一组映射样本(x1，y1)(x2，y2)，(xn，yn)，网络以自组织方式寻找输入与输出之间的映射关系：yi=f(xi)。l数据聚类、压缩。通过自组织方式对所选输入模式聚类。l联想记忆。实现模式完善、恢复，相关模式的相互回忆等。l优化计算和组合优化问题求解。利用神经网络的渐进稳定态，特别是反馈网络的稳定平衡态，进行优化计算或求解组合优化问题的近似最优解。2965第二十九页，共八十七页。l模式分类。现有的大多

15、数神经网络模型都有这种分类能力。l概率密度函数的估计。根据给定(i dn)的概率密度函数，通过自组织网络来响应在空间Rn中服从这一概率分布的一组向量样本X1，X2，Xk。3065第三十页，共八十七页。3165基本原理基本原理基本基本(jbn)属性属性l基本(jbn)属性：l非线性：l自然界的普遍特性l大脑的智慧就是一种非线性现象l人工神经元处于激活或抑制两种不同的状态，在数学上表现为一种非线性。l非局域性：l一个神经网络通常由多个神经元广泛连接而成l一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定l通过单元之间的大量连接模拟大脑的非局域性l联想记忆

16、是非局域性的典型例子。第三十一页，共八十七页。3265基本原理基本原理 基本基本(jbn)属性属性l非定常性l人工神经网络具有自适应、自组织、自学习能力l神经网络不但处理的信息有各种各样，而且在处理信息的同时，非线性动力系统本身也在不断变化l经常采用迭代(di di)过程描写动力系统的演化过程。l非凸性：系统演化的多样性l一个系统的演化方向，在一定条件下，将取决于某个特定的状态函数，如能量函数，它的极值相应于系统比较稳定的状态l非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。第三十二页，共八十七页。3365基本原理基本原理优缺点优缺点l评价l优点(yudi

17、n)：并行性；分布存储；容错性；学习能力 l缺点：不适合高精度计算；学习问题没有根本解决，慢；目前没有完整的设计方法，经验参数太多。第三十三页，共八十七页。神经网络学习神经网络学习(xux)(xux)l学学习(亦亦称称训练)是是神神经网网络的的最最重重要要特特征征之之一一。神神经网网络能能够通通过学学习,改改变其内部状其内部状态,使使输入入输出呈出呈现出某种出某种规律性。律性。l网网络学学习一一般般是是利利用用一一组称称为样本本的的数数据据,作作为网网络的的输入入(和和输出出),),网网络按按照照一一定定的的训练规则(又又称称学学习规则或或学学习算算法法)自自动调节神神经元元之之间的的连接接强

18、度度或或拓拓扑扑结构构,当当网网络的的实际(shj)(shj)输出出满足足期望的要求期望的要求,或者或者趋于于稳定定时,则认为学学习成功。成功。3465第三十四页，共八十七页。神经网络学习神经网络学习(xux)(xux)1.1.1.1.学学学学习规则习规则 权值修正学派修正学派(xupi)(xupi)认为：神：神经网网络的学的学习过程就是不断程就是不断调整网整网络的的连接接权值，以，以获得期望的得期望的输出的出的过程。所以，学程。所以，学习规则就是就是权值修正修正规则。2.2.2.2.学学学学习习方法分方法分方法分方法分类类 从不同角度考从不同角度考虑，神，神经网网络的学的学习方法有不同的分方

19、法有不同的分类。表。表9.19.1列出了常列出了常见的几种分的几种分类情况。情况。3565第三十五页，共八十七页。神经网络学习神经网络学习(xux)(xux)3665表表1 1 神经网络学习方法的常见神经网络学习方法的常见(chn jin)(chn jin)分类分类 第三十六页，共八十七页。3765 ANN 人工神经网络人工神经网络l概述l基本原理l前向型神经网络lBP神经网络l自组织竞争神经网络l神经网络的应用(yngyng)l与人工智能原理的结合第三十七页，共八十七页。3865前向型神经网络前向型神经网络l概述l最初称之为感知器。应用最广泛的一种人工神经网络模型，最要原因是有BP学习方法。

20、l前向网络结构是分层的，信息只能从下一层单元传递到相应的上一层单元。上层单元与下层所有单元相联接l特性函数可以(ky)是线性阈值的。第三十八页，共八十七页。3965前向型神经网络前向型神经网络l单层感知器第三十九页，共八十七页。4065前向型神经网络前向型神经网络l基本原理和结构极其简单l在实际应用中很少出现l采用阶跃函数作为特性函数l维空间可以明显表现(bioxin)其分类功能，但Minsky等揭示的致命弱点也一目了然。l关键是学习算法及网络设计方法l输出yi等于：(1)其中第四十页，共八十七页。4165前向型神经网络前向型神经网络单层感知器单层感知器l分类方法：l如果输入x有k个样本(yn

21、gbn)，xp,p=1,2,k,xRnl当将这些样本分别输入到单输出的感知器中，在一定的和下，输出有两种可能+1或-1。l把样本xp看作为在n维状态空间中的一个矢量，则k个样本为输入空间的k个矢量l前向神经网络就是将n维空间分为SA、SB两个子空间，其分界线为n-1维的超平面。即用一个单输出的感知器通过调整参数及来达到k个样本的正确划分。第四十一页，共八十七页。4265前向型神经网前向型神经网单层感知器单层感知器则存在一组权值wij使得(sh de)公式(1)满足:称样本(yngbn)集为线性可分的，否则为线性不可分的。第四十二页，共八十七页。4365前向型神经网前向型神经网单层感知器单层感知

22、器l如：2维空间希望找到一根直线(zhxin)，把A,B两类样本分开，其分界线为:解有无数个。单层感知器只能解决线性可分类(fn li)的样本的分类问题。如样本不能用一个超平面分开，就会产生当年Minsky等提出的不可分问题如：异或问题。第四十三页，共八十七页。4465+X1X2二维输入感知器及其在状态空间二维输入感知器及其在状态空间(kngjin)(kngjin)中的中的划分划分 第四十四页，共八十七页。4565前向型神经网络前向型神经网络多层感知器l多层感知器 l多层感知器的输入输出关系(gun x)与单层感知器完全相同。前一层的输出是下一层的输入。也被称为BP网络。第四十五页，共八十七页

23、。4665前向型神经网络前向型神经网络多层感知器l多层感知器 l采用BP算法学习时要求传递函数为有界连续可微函数如sigmoid函数。因此，网络可以用一个连续的超曲面（而不仅仅是一个超平面）来完成划分输入样本空间的功能(gngnng)。l先求误差，用梯度下降的方法求误差的传递。从后往前算。第四十六页，共八十七页。4765第四十七页，共八十七页。4865前向型神经网络前向型神经网络多层感知器l多层感知器 ln层网络可以以n-1个超曲面构成一个符合曲面，弥补单层感知器的缺陷。l基于BP算法，依据大量样本通过逐步调整神经元之间的联接权重来构造网络。l理论上，多层前馈网络在不考虑结果规模的前提下，可以

24、模拟任意(rny)的输出函数。第四十八页，共八十七页。4965前向型神经网络前向型神经网络多层感知器l特点：l用非线性连续可微函数分类，结果为一种(y zhn)模糊概念。当输出f(u)0时，其输出不一定为，而是一个0.5(有时只是0)的值，表示所得到的概率为多少。l应用最广泛的神经网络模型之一。第四十九页，共八十七页。5065 ANN 人工神经网络人工神经网络l概述l基本原理l前向型神经网络lBP神经网络l自组织竞争(jngzhng)神经网络l神经网络的应用l与人工智能原理的结合第五十页，共八十七页。BP 神经网络神经网络5165lBP(BackBP(BackPropagation)Propa

25、gation)网网络络即误差反向传播网络是应用(yngyng)最广泛的一种神经网络模型。(1)BP网络的拓扑结构为分层前向网络；(2)神经元的特性函数为Sigmoid型(S型)函数，一般取为(3)输入为连续信号量（实数）；(4)学习方式(fngsh)为有导师学习；(5)学习算法为推广的学习规则，称为误差反向传播算法，简称BP学习算法。第五十一页，共八十七页。5265BP 神经网络神经网络lBP算法的基本思想：l正向传播过程中，输入信号从输入层经隐单元层传向输出层，每一层的神经元状态只会影响到下一层神经元的输入，如果在输出层得不到期望(qwng)的输出，则转入反向传播过程。l将误差信号沿原来的连

26、接通路返回，通过修改各层神经元的连接权值，使得输出误差信号达到最小。l变量定义：lXX为输入向量，YY为网络输出向量；lWW(1)(1)、WW(2)(2)分别为输入层隐层、隐层输出层的权值矩阵l每层神经元的个数为：输入层，NN个神经元；隐层，PP个神经元；输出层，MM个神经元。第五十二页，共八十七页。5365第五十三页，共八十七页。5465第五十四页，共八十七页。5565第五十五页，共八十七页。5665第五十六页，共八十七页。5765第五十七页，共八十七页。5865第五十八页，共八十七页。5965第五十九页，共八十七页。6065第六十页，共八十七页。6165网络训练(xnlin)函数lfunc

27、tion teste,bestep,testouts,wh,wo,errorCurve=nnTrain(matrices,nrows,ninputs,nhiddens1,nhiddens2,noutputs,hrates,orates,moms,epochs,options)lmatrices:训练(xnlin)集合的样式，即输入-期望输出对。lnrows:样本集的列数，即学习样本的数目。l ninputs,nhiddens1,nhiddens2,noutputs:输入层节点数；第一隐层节点数；第二隐层节点数（可以为空）；输出层节点数。l hrates,orates:隐层、输出层单元的学习率。

28、lmoms:训练过程激励速率。lepochs:最大训练过程的迭代数。loptions:函数使用过程的选项。第六十一页，共八十七页。BP网络学习网络学习(xux)(xux)举例举例6265l例例：设设计计一一个个BPBP网网络络，对对表表2 2所所示示的的样样本本数数据据进进行行学学习习，使使学学成成的的网网络络能能解解决决类类似似的的模模式式分分类类问问题题(wnt)(wnt)。设设网网络络的的输输入入层层有有三三个个节节点点，隐隐层层四四个个节节点点，输输出出层层三三个个节节点点，拓拓扑扑结构如结构如下图下图9 9所示。所示。表2 网络(wnglu)训练样本数据 输入输入输出输出X1 x2

29、x3Y1 y2 y30.3 0.8 0.10.7 0.1 0.30.6 0.6 0.61 0 00 1 0 0 0 1第六十二页，共八十七页。BP网络学习网络学习(xux)(xux)举例举例6365图 BP网络(wnglu)举例 第六十三页，共八十七页。l用样本数据按BP算法对该网络进行训练(xnlin)，训练(xnlin)结束后，网络就可作为一种模式分类器使用。因为网络的输出向量(1，0，0)、(0，1，0)、(0，0，1)可以表示多种模式或状态。如可以分别表示凸、凹和直三种曲线，或者三种笔划，也可以表示某公司的销售情况：高峰、低谷和持平等等。l当然，要使网络有很好的模式分类能力，必须给以足

30、够多的范例使其学习，本例仅是一个简单的示例。6465第六十四页，共八十七页。神经网络模型神经网络模型(mxng)(mxng)l神神经网网络模型是一个在神模型是一个在神经网网络研究和研究和应用中用中经常提到的概念。常提到的概念。所所谓神神经网网络模型模型，它是关于一个神，它是关于一个神经网网络的的综合描述和整体概合描述和整体概念，包括网念，包括网络的拓扑的拓扑结构、构、输入入输出信号出信号类型、信息型、信息传递方式、方式、神神经元特性函数、学元特性函数、学习方式、学方式、学习算法等等。算法等等。l截止目前，人截止目前，人们们已已经经提出提出(t ch)(t ch)了上百种神了上百种神经经网网络络

31、模型模型,下表下表简介介最著名的几种。最著名的几种。6565第六十五页，共八十七页。神经网络模型神经网络模型(mxng)(mxng)6665第六十六页，共八十七页。6765神经网络模型神经网络模型(mxng)(mxng)第六十七页，共八十七页。6865神经网络模型神经网络模型(mxng)(mxng)第六十八页，共八十七页。神经网络模型神经网络模型(mxng)(mxng)l神神经网网络模模型型也也可可按按其其功功能能、结构构、学学习方方式式等等的的不不同同进行行分分类(fn li)。1.1.1.1.按学按学按学按学习习方式分方式分方式分方式分类类 神神经网网络的的学学习方方式式包包括括三三种种，

32、有有导导师师学学学学习习、强化化学学习和和无无无无导导师师学学学学习习。按按学学习方方式式进行行神神经网网络模模型型分分类时，可可以以分分为相相应的三种，即的三种，即有有有有导师导师学学学学习习网网网网络络、强化学化学习网网络及及无无无无导师导师学学学学习习网网网网络络。6965第六十九页，共八十七页。神经网络模型神经网络模型(mxng)(mxng)2.2.2.2.按网按网按网按网络结络结构分构分构分构分类类 神经网络的连接结构分为两大类,分层结构与互连结构，分层结构网络有明显(mngxin)的层次,信息的流向由输入层到输出层,因此,构成一大类网络,即前前向向网网络。对于互连型结构网络,没有明

33、显的层次,任意两处理单元之间都是可达的,具有输出单元到隐单元(或输入单元)的反馈连接，这样就形成另一类网络,称之为反反馈网网络。7065第七十页，共八十七页。神经网络模型神经网络模型(mxng)(mxng)3.3.3.3.按网按网按网按网络络的状的状的状的状态态分分分分类类 在神经网络模型中，处理单元(即神经元)的状态有两种形式：连续时间变化状态、离散时间变化状态。如果神经网络模型的所有(suyu)处理单元状态能在某一区间连续取值，这样的网络称为连续型型网网络；如果神经网络模型的所有处理单元状态只能取离散的二进制值0或1(或-1、+1)，那么称这种网络为离散型网离散型网络。典型的Hopfiel

34、d网络同时具有这两类网络，分别称为连续型Hopfield网络和离散型Hopfield网络。另外，还有输出为二进制值0或1、输入为连续值的神经网络模型，如柯西机模型。7165第七十一页，共八十七页。神经网络模型神经网络模型(mxng)(mxng)4.4.4.4.按网按网按网按网络络的活的活的活的活动动方式分方式分方式分方式分类类 确定神经网络处理单元的状态取值有两种活动方式，一种是由确定性输入经确定性作用函数，产生确定性的输出状态；另一种是由随机输入或随机性作用函数，产生遵从一定(ydng)概率分布的随机输出状态。具有前一种活动方式的神经网络，称为确确定定性性网网络。已有的大部分神经网络模型均属

35、此类。而后一种活动方式的神经网络，称为随随机机性性网网络。随机性网络的典型例子有：波尔茨曼机、柯西机和高斯机等。7265第七十二页，共八十七页。7365 ANN 人工神经网络人工神经网络l概述l基本原理l前向型神经网络l自组织竞争神经网络l神经网络的应用l与人工智能原理(yunl)的结合lBP神经网络第七十三页，共八十七页。7465自组织自组织(zzh)竞争神经网络竞争神经网络l概述l在实际的神经网络中，存在一种侧抑制的现象。即一个细胞兴奋后，通过它的分支会对周围其他神经细胞(shn jn x bo)产生抑制。这种侧抑制在脊髓和海马中存在，在人眼的视网膜中也存在。第七十四页，共八十七页。756

36、5自组织自组织(zzh)竞争神经网络竞争神经网络l概述l这种抑制使神经细胞之间出现竞争，一个(y)兴奋最强的神经细胞对周围神经细胞的抑制也强。虽然一开始各个神经细胞都处于兴奋状态，但最后是那个输出最大的神经细胞“赢”，而其周围的神经细胞“输”了。l胜者为王。小猫 第七十五页，共八十七页。7665自组织自组织(zzh)竞争神经网络竞争神经网络l概述l自组织竞争神经网络是在“无师自通”的现象的基础上生成(shn chn)的。l人类等生物的生长过程。第七十六页，共八十七页。7765自组织自组织(zzh)竞争神经网络竞争神经网络l结构：层内细胞之间互联，在各个神经细胞(shn jn x bo)中加入自

37、反馈，相互作用，输出y为：系统(xtng)稳定时“胜者为王”。此时赢者的权向量与输入向量的欧氏距离最小。此距离为：第七十七页，共八十七页。7865自组织自组织(zzh)竞争神经网络竞争神经网络l自组织映射模型l自组织映射模型是由Kohonen提出来的。模型是以实际神经细胞中的一种特征敏感的细胞为模型的。各个细胞分别对各种输入敏感，可以代表各种输入，反映各种输入样本的特征。如果在二维空间上描述这些细胞，则，功能相近的细胞聚在一起，靠得比较近。功能不同的离得比较远。l网络形成过程：开始是无序的，当输入样本出现后各个细胞反映不同，强者依照“胜者为王”的原则，加强自己的同时对周围细胞进行压抑。使其对该

38、种样本更加敏感，也同时对其他(qt)种类的样本更加不敏感。此过程的反复过程中，各种不同输入样本将会分别映射到不同的细胞上。第七十八页，共八十七页。7965Kohonen网络网络(wnglu)(wnglu)的结构的结构 x2x1输入层输出层第七十九页，共八十七页。8065Nc(t)的形状的形状(xngzhun)(xngzhun)和变化情况和变化情况 Nc(t0)Nc(t1)Nc(t2)Nc(t0)Nc(t1)Nc(t2)第八十页，共八十七页。8165自组织自组织(zzh)竞争神经网络竞争神经网络l特点：l网络中的权值是输入样本的记忆。如果输出神经元j与输入n个神经元之间的联接(lin ji)用w

39、j表示，对应其一类样本x输入，使yj达到匹配最大。那么wj通过学习后十分靠近x，因此，以后当x再次输入时，yj这个神经元必定会兴奋，yj是x的代表。.第八十一页，共八十七页。8265自组织自组织(zzh)竞争神经网络竞争神经网络.l网络学习时对权的调整不只是对兴奋的那个细胞所对应的权进行，而对其周围Nc区域内的神经元同时进行调整。因此，对于在Nc内的神经元可以代表不只是一个样本x，而是与x比较相近的样本都可以在Nc内得到反映。因此，这种网络对于样本的畸变和噪声的容差大。（调整区域函数(hnsh)有。）各种函数(hnsh)l网络学习的结果是：比较相近的输入样本在输出平面上映射的位置也比较接近。具

40、有自然聚类的效果。第八十二页，共八十七页。8365 ANN 人工神经网络人工神经网络l概述l基本原理l前馈型人工(rngng)神经元网络lBP神经网络l自组织竞争人工神经网络l神经网络的应用l与人工智能原理的结合第八十三页，共八十七页。8465神经网络的应用神经网络的应用(yngyng)lANN是一门(y mn)交叉学科，涉及心理学、生理学、生物学、医学、数学、物理学、计算机科学等l应用几乎遍及自然科学的各个领域l应用最多的是模式识别、通讯、控制、信号处理等方面。第八十四页，共八十七页。8565神经网络的应用神经网络的应用(yngyng)l在模式识别中的基本步骤：1、根据应用背景(bijng)

41、选择网络结构2、数据预处理、构造训练集3、选择适合的训练函数，训练ANN4、输入未知样本进行识别第八十五页，共八十七页。8665与人工智能与人工智能(rn n zh nn)原理的结合原理的结合l神经网络存在的问题：l网络结构大不宜实现l学习时间长效率低等l提出的改进方案：l利用不完善的领域理论和带有噪声的数据进行解释学习，产生一种近似正确(zhngqu)的解释结构（规则树）。l利用该规则树构造初始神经网络，而后进行BP算法的训练，达到减少训练时间的目的。l其他方案第八十六页，共八十七页。内容(nirng)总结1。计算机速度为纳秒级，人脑细胞反应时间是毫秒级。人工智能专家系统是制造一个专家，几十年难以培养的专家。每一条神经末梢可以与其他神经元形成功能性接触,该接触部位称为突触。实现模式完善、恢复，相关模式的相互回忆等。优化计算和组合优化问题求解。所以，学习规则就是权值修正规则。前向神经网络就是将n维空间分为SA、SB两个(lin)子空间，其分界线为n-1维的超平面。其他方案第八十七页，共八十七页。